Transformerでシステムプロンプトを観察する

はじめに LLMを使用したチャットボットに質問するとき、裏側では下図のような処理が行われています。 システムプロンプトはユーザからは見えませんが、モデルから見ると入力テキストの先頭に結合されたトークンであり、ユーザプロンプトと同じように処理されます。 実現するにはOuyang et al. (2022) が示したように、指示と回答のペアを使ったファインチューニングが必要なようです。 今回はこのファインチューニングのステップを自作モデルで、[指示: 関西弁で答えて] のようなデータで学習させ、小さなモデルでも指示に従う能力を獲得できるか検証します。 ! 個人の実験のため、参考程度にお願...