Sakana AI（サカナAI）は2026年2月末、LLM（大規模言語モデル）に独自情報を反映させるための新たな手法「Doc-to-LoRA」を発表した。情報を即座にモデルに反映させられるのが特徴だ。Sakana AIのRujikorn Charakorn（ルジコーン・チャラコーン）Research ScientistがRobert Lange（ロバート・ランゲ）Research Scientistのもとで開発した。
企業がAI（人工知能）を業務利用する際、社内規定やマニュアルなどの文書の内容を反映させる手法として現在、広く使われているのがRAG（検索拡張生成）だ。必要な情報を文書から検索し、モデルに渡すコンテキストに追加する。モデルの学習が不要で導入しやすい半面、長い文書や大量の資料を扱う際には推論コストや応答時間が増えやすい。しかも、情報を外から与えているだけなので、モデル自体に情報を定着させることはできない。
これに対し、情報をモデル側に取り込む方法としてはファインチューニングがある。追加学習の手法の1つで、事前学習済みモデルを特定の目的に合わせて調整するものだ。もっとも、通常のファインチューニングには「学習のための計算負荷が大きい」という問題がある。
そこで軽量化手法として登場したのがLoRA（Low-Rank Adaptation、低ランク適応）だ。全パラメーターを更新するのではなく、小さな差分パラメーターだけを学習してモデルの出力を調整する。得られた「LoRAアダプター」をつけ外しすることで、モデルの挙動を簡単に変えられるという利点もある。ファインチューニングを効率化する手法として広く使われるようになった。
ただし軽量とはいえ、LoRAで特定の文書の内容をモデルに反映させるには、通常は文書ごとの学習が必要になる。Doc-to-LoRAの論文によると、従来の手法では、条件にもよるが1件の文書の内容をLoRAアダプターに反映させるのに数十秒から数分かかるという。
この問題の解決を目指すのが、文書ごとの追加学習が不要なDoc-to-LoRAだ。文書を入力するだけで、その内容を反映したLoRAアダプターを1秒未満で生成する。RAGとも文書ごとに学習する従来型のLoRAとも異なる新たな選択肢といえる。
次のページ
重い学習を事前に済ませておくこの記事は有料会員限定です
