12のLLMのfew-shot性能を計測してわかった3つのこと

LLMにfew-shot exampleを追加すれば精度が上がる。この手法はもう当たり前のように使われていますが、実際にはモデルやタスクによってはexampleの追加で性能が下がることもあります。 以前の記事「例を増やしたらLLMの性能が下がる ── few-shot collapseの発見と検出方法」では、8モデル×4タスクの実験で、few-shot exampleを追加するとかえって性能が下がる「few-shot collapse」という現象について紹介しました。 今回はモデル数を12（クラウド6 + ローカル6）に拡大し、タスクも5つに増やして、前回の発見がより広い範囲で再現するか...