日本語法律分野文書に特化したBERTの構築

Published in 言語処理学会第28回年次大会発表論文集, 2022

Abstract
本論文では日本語の法律分野に特化したBERTモデルを提案する.民事事件判決書コーパスを用い,BERT を一から事前学習するモデルと,既存の汎用日本語BERT に追加事前学習するモデルを作成した.実験より,民事事件判決書を用いたMaskedLanguage Model,Next Sentence Prediction タスクについては既存の汎用日本語BERT に追加事前学習する手法が最も良い正解率を示すことがわかった.

Recommended citation:
宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化したBERT の構築. 言語処理学会第28回年次大会発表論文集, pp. 1546-1551, 2022年3月.