日本語法律分野文書に特化したBERTの構築
Published in 言語処理学会第28回年次大会発表論文集, 2022
Abstract
本論文では日本語の法律分野に特化したBERTモデルを提案する．民事事件判決書コーパスを用い，BERT を一から事前学習するモデルと，既存の汎用日本語BERT に追加事前学習するモデルを作成した．実験より，民事事件判決書を用いたMaskedLanguage Model，Next Sentence Prediction タスクについては既存の汎用日本語BERT に追加事前学習する手法が最も良い正解率を示すことがわかった．
Recommended citation:
宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化したBERT の構築. 言語処理学会第28回年次大会発表論文集, pp. 1546-1551, 2022年3月.