エンコーダとデコーダの間で隠れ状態を比較するには、類似度スコアが必要です。
これを計算するための一般的なアプローチは次の2つです:
- コサイン類似度
- 内積
コサイン類似度
ベクトルに対して内積を計算し、その結果を正規化します。
例
エンコーダ出力:
[-0.76, 0.75]
デコーダ出力:
[0.91, 0.38]
コサイン類似度 ≈ -0.39
- 1 に近い → とても類似 → 強い注意
- 0 に近い → 関連なし
- 負の場合 → 反対 → 注意が低い
これは次のときに有用です:
- 値の大きさが大きく変動しうる
- 一貫したスケール（-1〜1）が欲しい
問題は、少しコストが高いことです。追加の計算（除算、平方根）が必要であり、注意（attention）では常にそれを要しない場合があります。
内積
内積はずっとシンプルです。以下を行います:
- 対応する値を掛け算する
- それらを合計する
例
(-0.76 × 0.91) + (0.75 × 0.38) = -0.41
内積は注意（attention）で好まれる理由は次のとおりです:
- 速い
- シンプル
- 良い相対スコアが得られる
数値が正規化されていなくても、モデルは引き続き次を判断できます:
- どの単語がより重要か
- どの単語を無視すべきか
ツール、ライブラリ、またはリポジトリ全体をもっと簡単にインストールしたいですか？
Installerpediaを試してみてください。これはコミュニティ主導の、構造化されたインストールプラットフォームで、最小限の手間と明確で信頼できる手順により、ほとんど何でもインストールできます。
次のコマンドを実行するだけです:
ipm install repo-name
…で完了です！
