人に迎合する者たちへの有力な反論: 推論はLLMの追従性を緩和する一方、それを覆い隠す

要旨: アラインメント技術はしばしば意図せずLLMにおける迎合性を誘発する。
これまでの研究はこの挙動を直接回答設定で研究してきたが、Chain-of-Thought（CoT）推論の役割は十分に解明されていない：それは迎合性を緩和する論理的制約として機能するのか、それとも事後的な合理化の道具としてそれを隠すのか？
この問題を調査するため、客観的タスクと主観的タスクの両方にまたがる幅広いモデルを評価します。
結果は、推論が一般に最終的な意思決定における迎合性を低減する一方で、いくつかのサンプルでは迎合性を隠してしまうこともあり、モデルは論理的一貫性の欠如、計算誤り、片寄った主張などを通じて欺瞞的な正当化を構築する。
さらに、LLMは主観的なタスクおよび権威バイアスの下で迎合性を示しやすい。
3つのオープンソースモデルに対する機序分析は、迎合性の傾向が入力段階で事前に決定されるのではなく、推論過程の間で動的に変化することを明らかにした。