プロンプトベースの構造化予測に向けたコースのマッピング

Abstract

大規模言語モデル（LLM）は、タスク固有の微調整を必要とせずに、幅広い言語タスクにおいて強い性能を示してきました。しかし、それらは幻覚や不整合を起こしやすく、また自回帰的生成の制約の一部により、複雑な推論が苦手であることが多いです。私たちは、特に構造化予測に関して、これらの問題のいくつかに対処するため、LLMと組合せ推論を組み合わせ、推論手法が提供する構造的整合性と、LLMの予測能力を結び付けることを提案します。下流の記号推論に対する信頼度（confidence）値を最もよく推定できるプロンプト戦略がどれかを理解するために、網羅的な実験を行い、その結果、プロンプト戦略に依存せず、記号推論を組み込むことで、プロンプトだけの場合よりも一貫した、かつより正確な予測が得られることが分かりました。最後に、構造化された学習目的によるカリブレーションと微調整は、難しいタスクでの性能をさらに向上させることを示し、LLMの時代においても構造化学習が依然として価値を持つことを強調します。