メムリスタ上のLLMsを信頼できるか？ 非理想性下での推論能力に迫る

要約: メムリスターベースのアナログ・コンピュート・イン・メモリ（CIM）アーキテクチャは、卓越したエネルギー効率と計算密度により、大規模言語モデル（LLMs）の効率的な展開に有望な基盤を提供します。しかし、これらのアーキテクチャは、メムリスタの固有の非理想性に起因する精度の問題に悩まされます。本論文では、まずこのような典型的な非理想性がLLMの推論に与える影響を体系的に調査します。実証的な結果は、推論能力が著しく低下することを示す一方で、ベンチマークごとに差が生じます。続いて、思考モード、文脈内学習、およびモジュール冗長性の3つのトレーニング不要戦略を体系的に評価します。したがって、以下の有用な指針を要約します。すなわち、浅い層の冗長性は頑健性の向上に特に効果的であり、思考モードは低ノイズ条件下でより良い性能を示すが、ノイズが高いと劣化する、文脈内学習は出力長を短くする一方で、わずかな性能トレードオフが生じます。我々の知見は、非理想性下でのLLM推論に新たな洞察をもたらし、頑健性を向上させる実践的な戦略を提供します。
返却形式: {"translated": "翻訳済みHTML"}