会議ノート作成のためにMistralをローカルで実行することは、私の用途には正直十分だ

このサブはベンチマークやコーディングタスクにおけるモデルの性能比較が大好きだと知っています。私の用途はずっと退屈で、地元モデルをシンプルで実用的なことに対して過小評価されていると思うので共有したいです。

私はプロジェクトマネージャーです。1日4〜6回の会議があります。これらの会議のノートは Jira のアクションアイテムと Confluence の要約更新に変換される必要があります。それだけです。これには GPT-4 レベルの知性は必要ありません。大まかなテキストを受け取り、誰が何をいつまでに実行するべきかを構造化して出力するものが必要です。

私は ollama を介して MacBook で Mistral 7B を実行しています。入力は会議から得たもので、時にはタイプされ、時には Willow Voice に私が口述した生の書き起こしで、句読点がなく未完成の文が混じっています。関係ありません。Mistral はこのタスクの両方を問題なく処理します。

私のプロンプトは非常にシンプルです：「プロジェクト会議のノートです。オーナーと期限を含むアクションアイテムを抽出してください。箇条書きとしてフォーマットしてください。」それは約85％の確率で正しく出力します。残りの15％は、元の入力に含まれていなかった文脈が欠けていることが多く、モデルの失敗ではありません。

私がローカルを選んだ理由は、ChatGPT を使わずローカル環境を使うためです。会社には会議の内容を第三者のツールに渡すことに関するポリシーがあります。ローカルで実行すれば、何も外部へ送信していないことになり、情報セキュリティの審査を受ける必要もありません。

速度は十分です。M2 Pro 上の 7B の推論は作業フローを邪魔しない程度に速く、私はテキストを貼り付けて、たぶん10秒程度待って、アクションアイテムを Jira にコピーします。

このような地味な作業にもローカルモデルを使っている人はいますか？このサブは限界を押し上げる人々に偏っている気がしますが、実用的な大きな中間地帯があると思います。