エネルギー効率の高いコードを生成するための対比的プロンプト・チューニングの初期的検討

要旨: LLMは機能的に正しいコードを生成することは可能ですが、人間が書いた解決策と比べると、エネルギー効率の面で劣るコードを生成する傾向もあります。こうした非効率性は計算上のオーバーヘッドを増大させるため、コードのエネルギー消費を削減することを目指すグリーン・ソフトウェア開発（GSD）の取り組みと正面から衝突します。本研究は、LLMがエネルギー効率の高いコード生成を促進するために、どのように、またそれが可能かを調べることを目的とします。そのために、我々はコントラスト学習によるプロンプトチューニング（Contrastive Prompt Tuning; CPT）を用います。CPTは、効率的なコードと非効率的なコードをモデルが区別できるようにするコントラスト学習の技術と、従来のファインチューニングに比べてコストのごく一部で済む、パラメータ効率の高いファインチューニング（PEFT）手法であるプロンプトチューニングを組み合わせます。本研究では、3つの異なるモデルに対して、Python、Java、C++のコーディング問題でCPTを評価し、包括的な評価を行います。その手法は2つのモデルでコード精度に対して一貫した改善を達成しますが、効率向上の度合いはモデル、言語、タスクの複雑さによって変動し、改善が一様に信頼できるわけではないことが示されます。