Abstract
大規模言語モデルは自然言語処理を変革しましたが、その計算コストは、ブラジルポルトガル語のような低リソース言語に対するアクセシビリティの障壁となっています。本研究では、SQuAD v1のブラジルポルトガル語訳であるSQuAD-BRにおける質問応答に向けて、BERTimbauへ適用したParameter-Efficient Fine-Tuning（PEFT）および量子化手法の体系的な評価を提示します。4つのPEFT手法（LoRA, DoRA, QLoRA, QDoRA）を2つのモデルサイズ（Base: 110M, Large: 335Mパラメータ）にわたって組み合わせ、全40構成を評価します。得られた知見は、次の3つの重要な洞察を示しています：（1）LoRAはBERTimbau-Largeにおいてベースライン性能の95.8%を達成しつつ、学習時間を73.5%削減します（F1=81.32 vs 84.86）；（2）より高い学習率（2e-4）はPEFT性能を大幅に改善し、標準的な学習率に比べて最大+19.71ポイントのF1向上が得られます；そして（3）より大きなモデルは、量子化に対する耐性が2倍高く、損失はF1ポイントで4.83対9.56です。これらの結果は、エンコーダベースのモデルが、大規模生成LLMよりも大幅に低い計算コストで抽出型のブラジルポルトガル語QA向けに効率よく微調整できることを示しています。これは、\textit{Green AI}の原則に沿った、より持続可能なアプローチの推進につながります。同じ抽出型QAベンチマークにおいて、TucanoとSabi\'aに関する探索的評価では、生成モデルはLoRAによる微調整で競合するF1スコアに到達し得る一方で、BERTimbau-Baseに比べて最大4.2\times多くのGPUメモリと3\times多い学習時間を必要とし、このタスクにおけるより小さなエンコーダベース・アーキテクチャの効率性優位を裏付けています。
