UGID: 大規模言語モデルのデバイアス除去のための統一グラフ同型性

要約: 大規模言語モデル（LLMs）は顕著な社会的バイアスを示す。出力レベルのデータ最適化ベースのデバイアス除去手法ではこれらのバイアスを完全には解決できず、多くの先行研究がバイアスは内部表現に埋め込まれていることを示している。私たちは \underline{U}nified \underline{G}raph \underline{I}somorphism for \underline{D}ebiasing large language models (\textit{\textbf{UGID}})、Transformerを構造化された計算グラフとしてモデル化する内部表現レベルのデバイアス除去フレームワークであり、アテンション機構がグラフのルーティングエッジを定義し、隠れ状態がグラフノードを定義する。具体的には、反事実入力間でグラフ構造の不変性を保証する形でデバイアス除去を定式化し、差異は敏感属性のみに許される。 \textit{\textbf{UGID}} は、バイアスに敏感な領域でアテンションのルーティングと隠れ表現を共同で制約し、アーキテクチャの構成要素間のバイアスの移動を効果的に防ぐ。一般的な能力を低下させずに効果的な挙動の整合を達成するため、機微なロジットに対する対数空間制約を導入し、定義意味を保持するための選択的なアンカーベースの目的関数を導入する。大規模言語モデルにおける広範な実験は、 \textit{\textbf{UGID}} が分布内および分布外の設定の両方でバイアスを効果的に低減し、内部構造の不一致を大幅に減少させ、モデルの安全性と有用性を保つことを示している。