医療指示に従うための大規模ビジョン言語モデルの指示なしチューニング

Abstract

大規模ビジョン言語モデル（LVLMs）は、さまざまなタスクにおいて顕著な性能を示しています。これらの能力は主に、厳選された画像-指示-出力のトリプレットから構成されるデータセット上でモデルをファインチューニングするビジュアル指示チューニングに起因します。しかし、医療分野では、高度な専門知識が必要となるため、大規模で高品質な指示データセットを構築することは特に困難です。この問題に対処するため、手作業で作成された指示への依存を減らし、ファインチューニングには画像説明ペアのみを活用する「指示なしチューニング」手法を提案します。具体的には、厳選されたテキスト指示の代替としてモーメンタム・プロキシ指示を導入し、事前学習済みの LVLM の指示追従能力を保持しつつ、推論時にも有効なパラメータの更新を促進します。その結果、ファインチューニングされた LVLM は、明示的な指示がファインチューニング時に欠如していても、ドメイン固有の指示に柔軟に応答できます。さらに、モデルが前の語に過度に依存するのを緩和するため、応答シャッフル戦略を組み込み、より効果的なファインチューニングを促進します。我々のアプローチは、SKINCON、WBCAtt、CBIS、MIMIC-CXRデータセットにおける多肢択一の視覚質問応答タスクで最先端の精度を達成し、医療分野における LVLM のファインチューニング効率を大幅に向上させます。