私は、トランスフォーマーにおける注意メカニズムについてもっと読み、シーケンス内の関連する入力に対して、効果的に重み付けし優先順位を付けることを学習できる仕組みを知りました。
そこで、関連しているものの(ただし少し異なる)問題について考えるようになりました。モデルの内部だけでなく、システム全体にわたって信号を優先し、ルーティングすることです。
多くの現実の状況(例:分散システム、大規模なデータ処理パイプライン、人が意思決定に関与するシステム)では、イベント/信号の絶え間ない流れがありますが、それらを処理したり行動に移したりするための能力には限りがあります。課題は次のようになります:
- どの信号が最も重要かを特定する
- それらを適切なコンポーネント(またはエージェント)へルーティングする
- 結果に基づいて、時間の経過とともにその優先順位付けを更新する
これに最も近い既存のMLパラダイムは何なのか、気になっています。
[link] [comments]




