動物へのロバストなアラインメントのためのドキュメント・チューニング

Abstract

本研究では、合成ドキュメントによるファインチューニングを通じて、価値整合（value alignment）の頑健性を調査します。その際、動物への思いやり（animal compassion）を、重要であると同時に、既存の整合の取り組みとは直交している価値として用います。思いやりに基づく推論を評価するために、動物危害ベンチマーク（Animal Harm Benchmark, AHB）を開発し、公開します。AHBは13の倫理的次元にまたがる全26問の評価であり、データセットおよびInspectによる評価として公開されています。AHBにおいて、3000件のドキュメントで学習すると、インストラクション・チューニング手法での40%に対して77%を達成し、人間の思いやりへの一般化も見られ、標準的な安全ベンチマークや能力の低下もありません。とはいえ、その後の無関係なインストラクション・チューニングは介入（intervention）を劣化させ、5000サンプル以降は優位性が消失します。探索的な結果は、ドキュメントに基づく価値介入は、典型的な学習パイプラインを通じて有効性を維持するために、明示的な保存戦略を必要とする可能性を示唆します。