LoRAを活用した言語モデルの中間層蒸留
Published in 言語処理学会第31回年次大会発表論文集, 2025
Abstract
近年，言語モデルの巨大化により，計算コストが大きく増加したため，性能を保ちつつモデルのパラメータ数を削減する手法が求められている．その一つに知識蒸留があり，中間層蒸留はその一種である．モデルの中間層出力も損失関数の計算に用いる中間層蒸留は有効とされてきたが，線形写像を推論時に用いないため，学習の効果が保証されない問題があった．本研究では，中間層蒸留の線形写像を LoRA のアダプターで代替し，推論時に除かれない線形写像を実現した LoRAILD を提案し，実験を行った．その結果，中間層蒸留の効果に対する否定的な結果を得た．
Recommended citation:
鈴木偉士, 山田寛章, 徳永健伸. LoRAを活用した言語モデルの中間層蒸留. 言語処理学会第31回年次大会発表論文集, pp. 1644-1649，2025年3月.