任意のモデルのためのユニバーサル・ハイパーネットワーク

arXiv cs.LG / 2026/4/3

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、固定されたジェネレータとして設計された「ユニバーサル・ハイパーネットワーク（UHN）」を導入し、特定のパラメータ化に縛られることなく、決定論的なパラメータ・アーキテクチャ・タスク記述子を用いて、異なるターゲット・アーキテクチャの重みを生成できるようにする。
記述子ベースの定式化を採用することで、著者らはハイパーネットワークの設計をターゲットモデルのアーキテクチャから切り離し、視覚・グラフ・テキスト・数式回帰といった多様なタスクに対して、1つのジェネレータが異種のモデルをインスタンス化できるようにすることを目指している。
実験では、同一の固定UHNが、複数種類のベンチマークにおいて直接学習と競争力を維持できることに加え、アーキテクチャ・ファミリ内でのマルチモデル汎化や、異種モデルにまたがるマルチタスク学習も支援できると主張している。
本研究はさらに、UHNが安定した形で再帰的にモデルを生成できることを報告しており、最終的なベースモデルを生成する前に最大3つの中間生成UHNを経由できるという。
著者らはGitHubによる実装を提供しており、記述されたアプローチと結果の再現性を支える。

要旨: 従来のハイパーネットワークは、通常、特定のベースモデルのパラメータ化を前提に設計されているため、対象となるアーキテクチャを変更すると、しばしばハイパーネットワークの再設計と、ゼロからの再学習が必要になります。私たちは、
\emph{Universal Hypernetwork}（UHN）を提案します。UHNは固定されたアーキテクチャの生成器であり、決定論的なパラメータ、アーキテクチャ、およびタスク記述子から重みを予測します。この記述子に基づく定式化により、生成器のアーキテクチャと対象ネットワークのパラメータ化が切り離されるため、1つの生成器で、検証したアーキテクチャとタスクの系統にまたがる不均質なモデルをインスタンス化できます。経験的な主張は3点にまとめられます: (1) 1つの固定されたUHNは、視覚、グラフ、テキスト、数式回帰の各ベンチマークにおいて、直接学習と比べても競争力を維持すること; (2) 同じUHNが、同一系統内での複数モデルの汎化と、不均質なモデル間でのマルチタスク学習の両方を支えること; (3) UHNは、最終的なベースモデルの前に最大3つの中間生成されたUHNを挿入した、安定した再帰的生成を可能にすること。コードは https://github.com/Xuanfeng-Zhou/UHN で公開しています。