要旨: 文脈内演算子学習は、文脈的な例から解法演算子を重みの更新なしに推定できるようにします。先行研究はこのパラダイムが膨大なデータセットを活用する際の有効性を示してきましたが、同一の訓練データを用いた単一演算子学習と比較した体系的検証は欠如していました。私たちはこのギャップを、同じ訓練ステップとデータセットの条件の下で、文脈内演算子学習と古典的演算子学習(文脈的な例を用いない単一演算子モデル)を比較する統制された実験を通じて埋めます。現実世界の時空間システムにおけるこの調査を可能にするため、GICON(Graph In-Context Operator Network)を提案します。幾何的一般化のためのグラフメッセージパッシングと、例を意識した位置エンコーディングを組み合わせ、個数一般化を図ります。中国の2つの地域における大気質予測の実験は、文脈内演算子学習が複雑なタスクにおいて古典的演算子学習を上回り、空間ドメインを横断して一般化し、訓練例が少数から推論時には100例まで堅牢にスケールすることを示しています。
一般化可能な時空予測のためのグラフ文脈内演算子ネットワーク
arXiv cs.AI / 2026/3/16
💬 オピニオンModels & Research
要点
- 文脈内演算子学習は、ニューラルネットワークが文脈的な例から解法演算子を推定することを、重みの更新なしに可能にする。
- 本研究では、同じ訓練データと同じ手順を用いた単一演算子学習と厳密に比較している。
- 本研究は、GICON(Graph In-Context Operator Network)を導入し、幾何学的一般化のためのグラフメッセージ伝搬と、ノード数一般化のための例を意識した位置エンコーディングを組み合わせている。
- 中国の2地域にまたがる大気質予測の実験は、文脈内演算子学習が複雑なタスクで従来の演算子学習を上回り、空間ドメイン全体での強い一般化と、少数の推論例から多数の推論例への堅牢なスケーリングを実証している。
関連記事
次世代LLM推論技術: Flash-MoE から Gemini Flash-Lite、そしてローカルGPU活用へ
Dev.to
オープンソースAIの波とセキュリティへの投資: Qwen、Microsoft、Google の動向
Dev.to

AIモデルがクリエイティブな文章を書けないのは初期モデルに見られた創造性や独創性を抑制してビジネス用途に特化させたせいだという指摘
GIGAZINE
RLax、JAX、Haiku、Optax を用いてスクラッチから Deep Q-Learning(DQN)を実装し、カートポール環境の強化学習エージェントを訓練する
MarkTechPost
[D]SQLのみで分類器を訓練する(反復的最適化なし)
Reddit r/MachineLearning