自動コード準拠のためのモデル規模と微調整戦略の違いにわたるLLM帰属分析

Abstract

自動化されたコード準拠に対する大規模言語モデル（LLM）の既存研究は、主として性能に焦点を当て、モデルをブラックボックスとして扱うことで、学習上の意思決定がそれらの解釈的な振る舞いにどのように影響するかが見落とされてきました。本論文はこのギャップに取り組むために、摂動ベースの帰属（attribution）分析を用いて、フルファインチューニング（FFT）、低ランク適応（LoRA）、量子化LoRAのファインチューニングといった異なるファインチューニング戦略間でのLLMの解釈的振る舞いを比較します。さらに、LLMのパラメータ規模が与える影響、すなわちLLMパラメータ数の異なるモデル規模も含めて検討します。その結果、FFTは、パラメータ効率の高いファインチューニング手法から得られる帰属パターンとは統計的に異なり、かつより焦点の定まったパターンを生み出すことが示されました。加えて、モデル規模が大きくなるにつれて、ビルディングテキスト内で数値制約やルール識別子を優先するなどの特定の解釈戦略がLLMに形成される一方で、生成されたコンピュータで処理可能なルールと参照ルールとの意味的類似における性能向上は、7Bを超えるモデルでは頭打ちになることが分かりました。本論文は、これらのモデルの説明可能性に関する重要な知見を提供し、建築・土木・建設（Architecture, Engineering, and Construction）業界における、重要で規制ベースのタスクのための、より透明性の高いLLMを構築するための一歩となります。