みなさん、
対称(Siamese)ネットワークにおけるバックプロパゲーションの正しい実装方法を共有してもらえませんか? 元の論文 の説明は、あまり詳しくありません。
githubで偶然見つけたこのような実装がありました。 参照。 入力は1つずつ順に渡され、損失は最後の2つの入力に対して計算され、その後で重みが更新されます。これは正しい実装でしょうか?
別の実装として考えられるのは、Bi-encoderのように同じネットワークを2つ用意する方法です。2つの入力を同時に渡し、損失をバックプロパゲーションして、両方のネットワークに対して重みを更新します。そして次のフォワードパスの前に、両方のネットワークの重みをそれらの集約(平均)で置き換えます。
どちらが正しいですか?
確認させてください。
[link] [comments]




