Sabi'a-4 技術報告

この技術報告は、ブラジルポルトガル語に焦点を当てた新世代のポルトガル語モデルである Sabi'a-4 および Sabiazinho-4 を紹介します。モデルは、ポルトガル語およびブラジルの法的コーパスでの継続的事前学習、128Kトークンへの長文コンテキスト拡張、チャット・コード・法的タスク・関数呼び出しを含む指示データの監督付きファインチューニング、そして嗜好整合を含む4段階の訓練パイプラインによって開発されました。我々は、六つのベンチマークカテゴリでモデルを評価します：ブラジルポルトガル語での会話能力、ブラジル立法の知識、長文脈理解、指示追従、標準化試験、ツール使用とウェブナビゲーションを含むエージェント機能。結果は、Sabi'a-4 および Sabiazinho-4 が他のモデルと比較して費用対性能の有利なトレードオフを達成し、価格-精度チャートの左上領域に位置することを示します。これらのモデルは、法的文書のドラフト作成、マルチターン対話の品質、およびエージェント的タスクの遂行において前世代より改善を示します。