任意のテキスト条件付けにおける学習方法の学習：ハイパーネットワーク駆動のメタゲート付きLLM

arXiv cs.CL / 2026/5/5

📰 ニュースDeveloper Stack & InfrastructureModels & Research

共有:

要点

本論文は、ハイパーネットワークによって、SwiGLUの非線形性パラメータ（β）を任意のテキスト条件に応じて動的に制御する「メタゲート付き」LLMを提案している。
これにより、コーパスの異質性や条件のわずかな変化が性能を落とし得るという、従来のLLMの条件付けに関する限界を解決することを狙っている。
SwiGLUブロック内でメタラーニングの信号を組み込み、標準的なメタラーニングをLLMに適用する際に生じやすい複雑さとスケーラビリティの課題を回避しようとしている。
タスク、ドメイン、ペルソナ、スタイルといった複数の条件タイプで評価した結果、提案手法は微調整（ファインチューニング）やメタラーニングのベースラインより優れている。
著者らは、未見のタスク、条件タイプ、指示に対しても一定の一般化が可能であると報告し、コードはGitHubリンクで公開されている。