LLMORPH：大規模言語モデルのための自動メタモルフィックテスト

要旨: 自動テストは、大規模言語モデル（LLM）の信頼性を評価し改善するために不可欠ですが、出力の正しさを検証するための自動オラクルが欠如していることは依然として主要な課題です。私たちは、NLPタスクを実行するLLM向けに特化した自動テストツールであるLLMORPHを提案します。LLMORPHは、メタモルフィック・テスティング（MT）を活用し、人手でラベル付けされたデータに依存せずに誤った振る舞いをあぶり出します。MTはメタモルフィック関係（MR）を用いて、ソースのテスト入力から後続入力を生成し、高価なラベル付きデータを必要とせずにモデル出力の不整合を検出できるようにします。LLMORPHは、LLMベースのNLPシステムの頑健性を評価したい研究者および開発者を対象としています。本論文では、LLMORPHの設計、実装、実践的な利用方法を詳述し、それが任意のLLM、NLPタスク、および一連のMRに容易に拡張できることを示します。評価では、4つのNLPベンチマークにまたがって36個のMRを適用し、最先端のLLMであるGPT-4、LLAMA3、HERMES 2の3つをテストしました。これにより561,000回を超えるテスト実行が行われました。結果は、LLMORPHが不整合を自動的に露出させることに有効であることを示しています。