実験: 28Mパラメータのモデルはビジネスメール生成でどこまで通用するか？

私は、合成のビジネスメールデータを用いて、サイズの小さな（約28Mパラメータ）Transformerモデルのトレーニングを試しています。

これは決して完璧ではなく、指示に従う点でもまだ苦戦しますが、それでも時には比較的筋の通ったメールのようなテキストを生成することがある、というのには驚きました。

このモデルは典型的なLLMと比較して非常に小さいため、厳しいパラメータ制約の下で構造化された生成がどこまで可能かを確かめる実験のようなものでした。

生成の中には混乱したり話題が逸れるものもありますが、時にはほぼ使えるように見える出力を生み出します。

小さなモデルにおける一貫性や指示の追従性を改善するアイデア、特にフィードバックには興味があります。

以下は1つのサンプル出力です:

プロンプト: 「丁寧な断りメールを書く」

出力:

これは金曜日の夕方であることを理解していますが、喜んで追加情報を提供します。
詳細について話し合い、代替案を検討するために最善を尽くします。

私たちは進捗状況をお知らせします。この件にご興味がありましたらお知らせください。

敬具、

[name]

この出力は約28Mパラメータのモデルからのもので、まだ一貫性には欠けますが、時には近いものを出します。

ご興味がある方は:
GitHub: https://github.com/kamisori-daijin/textrm
HuggingFace: https://huggingface.co/Kamisori-daijin/textrm-28M-bizmail

(実装は、いくつかのTRM実験およびmlx-trm実装に基づいています。)