潜在的な一般化の幻想：双方向性とリバーサル・カース

要旨: 反転カース（reversal curse）とは、自回帰言語モデルが事実を逆順で取り出せないという失敗を指します（例：``A > B''で学習したが ``B < A''では失敗する）。近年の研究では、双方向の教師信号を伴う目的関数（例：双方向注意（bidirectional attention）や、デコーダのみモデルに対するマスキングベースの再構成）によって、この反転カースを軽減できることが示されています。本研究では、この評価を標準的なマスク言語モデリング（MLM）目的を含めるよう拡張し、4つの反転ベンチマークにおいて、それをデコーダのみのマスキングベース学習と比較します。さらに、これらの目的が
\emph{どのように} 成功するのかについて、最小限のメカニスティック（機構的）調査を行います。我々は、反転精度には、元のエンティティが明示的に予測対象となる学習信号が必要であることを示します。また、成功が「事実」という統一された概念から生じる方向非依存な単一の表現に対応しているという証拠はほとんど見られません。代わりに、表現距離と線形プローブは、順方向と逆方向を別個のエントリとして保存し、MLMとデコーダのみのマスキングベース学習では異なるインデクシングの幾何（indexing geometry）が用いられることと整合的です。以上の結果は、目的関数レベルの「修正（fixes）」が反転挙動を改善し得る一方で、それが必ずしも統一概念から期待されるような潜在的な汎化（latent generalization）を誘発するとは限らないことを警告しています。