知識の境界を明確化して、誠実な大規模ビジョン・言語モデルを実現する

要旨: 大規模な視覚言語モデル（VLM）は目覚ましいマルチモーダル性能を達成している一方で、特にロングテール領域や専門領域において、事実の幻覚を起こしやすいままです。さらに、現在のモデルは、そのパラメトリックな知識を超える質問に対して拒否する能力が弱いという課題もあります。本論文では、このような未知の質問に直面した際にVLMの拒否能力を高めるための体系的な枠組みを提案します。まず、マルチサンプル一貫性のプロービングを活用して、既知の事実と未知の事実を区別できる、モデル固有の「Visual-Idk」（Visual-I don't know）データセットを構築します。次に、教師あり微調整に続いて、嗜好を考慮した最適化（例：DPO、ORPO）を行うことで、モデルの知識境界を効果的に画定します。Visual-Idkデータセットでの結果は、本手法によりTruthful Rateが57.9\%から67.3\%へと向上することを示しています。加えて、内部プロービングからも、モデルが単に拒否のパターンを暗記しているのではなく、実際に自らの境界を認識していることが確認できます。本枠組みは、分布外の医療および知覚領域にもさらに一般化でき、より信頼でき、かつ慎重な視覚アシスタントへ向けた堅牢な道筋を提供します。