CodeMMR：自然言語・コード・画像を統一検索に橋渡しする

Abstract

コード検索を情報検索（IR）として捉えることは、現代のソフトウェアエンジニアリングを支える基盤であり、さらに取得拡張生成（RAG）をますます強力にしています。これにより、コードの発見・再利用・LLMベースのコーディングの信頼性が向上します。しかし既存のコードIRモデルは、依然として主にテキスト中心であり、Webインターフェース、データ可視化、SVG、模式図、UMLなどのプログラミング成果物に固有に含まれる視覚的・構造的側面を見落としがちです。そこでこのギャップを埋めるために、MMCoIRを導入します。MMCoIRは、5つの視覚領域、8つのプログラミング言語、11のライブラリにまたがるマルチモーダルなコードIRを評価するための、最初の包括的ベンチマークであり、広範な評価によって当該タスクの難しさを示します。したがって次に、命令に基づくマルチモーダル整合（alignment）により、自然言語・コード・画像を共有の意味空間に共同埋め込みする統一型の検索モデルであるCodeMMRを提案します。CodeMMRは、モダリティおよび言語間で強力な汎化性能を達成し、競合ベースライン（例：UniIR、GME、VLM2Vec）をnDCG@10で平均10ポイント上回ります。さらに、CodeMMRをRAGに統合することで、コード生成の忠実性と、未知のコード生成タスクに対する視覚的な根拠づけが改善されます。これにより、マルチモーダル検索が次世代の知的プログラミングシステムの中核的な実現要因となり得ることが示されます。データセットはHuggingFaceで利用可能です。