AIの目に宿る美：ネットワーク可視化においてLLMと視覚モデルを人間の美的感覚に合わせる

要旨: ネットワーク可視化は伝統的に、応力(stress)などのヒューリスティックな指標に依存してきました。これらの指標を最適化すれば、美的で情報量の多いレイアウトが得られるという前提にもとづくためです。しかし、単一の指標が一貫して最も効果的な結果を生み出すわけではありません。データ駆動型の代替策としては、人間の嗜好から学習する方法があり、アノテータが同じグラフの複数のレイアウトの中から自分の好む可視化を選びます。こうした人間の嗜好ラベルは、その後、人間の美的嗜好を近似する生成モデルの学習に利用できます。しかし、人間のラベルを大規模に取得することはコストが高く、時間もかかります。その結果、この生成アプローチはこれまで、機械によるラベル付けデータでのみ検証されてきました。本論文では、人間の判断の代理(proxy)として、大規模言語モデル(LLM)とビジョンモデル(VM)を用いることを探究します。27人の参加者による慎重に設計したユーザスタディを通じて、大規模な人間の嗜好ラベルの集合を作成しました。このデータを、人間の嗜好をより深く理解することと、LLM/VMのラベラーをブートストラップすることの両方に用いました。少数例(few-shot)の例と、画像埋め込み(image embeddings)のような多様な入力形式を組み合わせたプロンプトエンジニアリングは、LLMと人間の整合性(アライメント)を大幅に改善することを示します。さらに、LLMの信頼度スコアによる追加のフィルタリングを行うことで、その整合性は人間同士の水準まで押し上げられます。加えて、適切に訓練されたVMは、VMと人間の整合性を、人間のアノテータ同士の間に相当するレベルで達成できることを示します。これらの結果は、AIが人間のラベラーをスケーラブルな代理として実際に担える可能性を示唆しています。