if文からMLパイプラインへ：コード生成におけるバイアスを再検討

要旨: 先行研究では、コード生成のバイアスを主として単純な条件分岐によって評価しており、これらは現実のソフトウェア開発を表すうえでごく限られた一部に過ぎず、明示的に符号化された、目に見える（露骨な）バイアスのみを示すにとどまります。本研究では、より現実的な課題として機械学習（ML）パイプラインの生成を取り上げることで、このアプローチが実際のバイアスを大幅に過小評価していることを示します。コード特化型および汎用指示型の大規模言語モデルの両方を検証したところ、生成されたパイプラインでは特徴選択の段階で大きなバイアスが観測されました。モデルが明らかに無関係な特徴を除外しているにもかかわらず（例：クレジットスコアリングにおいて「favorite color（お気に入りの色）」を落とす一方で「race（人種）」を含めるなど）、センシティブ属性は平均で87.7%のケースに現れます。このバイアスは、条件分岐によって捉えられるものよりも大幅に高頻度です。条件分岐では、センシティブ属性が現れるのは59.2%のケースに限られます。これらの結果は、プロンプトの緩和（mitigation）戦略の違い、属性数の変化、ならびにパイプラインの難易度の異なる場合に対しても頑健です。本研究の結果は、バイアス評価の妥当な代理指標として単純な条件分岐を扱うことに疑問を投げかけ、現在のベンチマークが実運用の展開におけるバイアスのリスクを過小評価している可能性を示唆します。