ナチスのプロパガンダを垂れ流したり、自分のことをMechaHitlerだと名乗ったりするボットとのやりとりにうんざりしているなら、イーロン・マスクのxAIからログアウトしてもいいかもしれません。あるいは念のため、学習データが1930年で打ち切られているLLMを使ってください。これは、ナチスがドイツで政権を握る3年前、そして第二次世界大戦が始まる9年前のことです。

AI研究者3人組が、13ビリオン・パラメータの「ヴィンテージ」言語モデルをリリースしました。彼らが名付けたのはTalkieで、英語の書籍・新聞・雑誌類・科学雑誌・特許・判例法の「デジタルスキャン」だけを、1930年末より前に発表されたものに限定して学習させています。1930年以前の作品が選ばれたのは、1930年が米国における現在のパブリックドメイン年だからです。

つまり言い換えれば、第二次世界大戦、フランクリン・D・ルーズベルトの選挙、アメリア・イアハートの単独の大西洋横断飛行、あるいは電子レンジがどう動くかといった情報を探しているなら、ご愁傷さまです。ベティ・ブープ、フラッパー、世界恐慌が始まったころの米国経済の状況、あるいはカーステレオ（自動車用ラジオ）の導入が社会学的にどんな影響を与えたか――そういったことなら、ここであなたをお待ちしています。 

とはいえ、ヴィンテージのAIモデルが初めて登場したわけではありません。ほかにもヴィクトリア朝文学を学習したものや、1900年以前の科学文献を学習したものがすでに世の中に出ています。ただしこれは、開発者たちによれば、彼らが知る限り最大規模のものだそうです。 

返却形式: {"translated": "翻訳されたHTML"}

「Talkieは、私たちが把握している限り最大の“ヴィンテージ”言語モデルであり、今後も大幅にスケールしていく計画です」と、それを手がけたチームは指摘した。 

いいね、でも……なぜ？

確かに、フラッパーの文体でしか幻覚を起こさないAI、あるいは哲学者バートランド・ラッセルの初期の著作のような調子でしか幻覚を起こさないAIと会話できるなら、面白いかもしれない。しかし、AIへのあらゆる問い合わせが地球を燃やし尽くす可能性を持つ以上、「知識の打ち切りが1930年のAI」が必要なのはなぜなのか、問い直さざるを得ない。私たちはTalkieの開発者に連絡したが返答は得られなかったものの、寄稿（書き下ろし）には十分な説明がある。

「こうしたモデルは魅力的な対話相手です……が、ヴィンテージLMの振る舞いと能力を慎重に研究することで、AI一般に対する理解が前進する可能性にも、私たちは強く期待しています」とTalkieチームは書いている。 

その一例として、AIが未来を予測できる能力のテストを挙げている。別の例では、Google DeepMindの共同創業者兼CEOであるデミス・ハサビスが『」AGIの良いテストになる」と述べたこと

要するに、未来の一般相対性理論を、1915年にアインシュタインが理論を生み出したときと同じ情報を使って、1911年でモデルの知識を切断した上で導き出そうとさせる、というものだ。 

言い換えれば、このAIは、それを作った人々が持っていた情報だけで、正確な科学的発見を行えるのだろうか。 

Talkieが一般相対性理論を作るのと同じくらい手強いテストにかけられたかどうかは不明だが、同一のアーキテクチャで、ただし現代データで学習したモデルに対してPythonのプログラミングテスト問題を解けるかどうかが確かめられた。ある程度の正しい解答は生成できたが、制約はかなり大きかった。

「ヴィンテージ・モデルが生成した“すべての正解”は、単純な1行プログラム（たとえば2つの入力を足し合わせるなど）か、インコンテキスト例題プログラムへの小さな修正に限られていました」とTalkieチームは述べた。つまり、「この能力が注目に値するまでには、まだ長い道のりがある」ということだ、とチームは付け加えている。 

LLMの性能を高めることはTalkieの目的の大部分を占めるものの、それを手がけるチームによれば、それが唯一の狙いではないという。

Talkieの開発に携わった3人のうちの1人であり、トロント大学の計算機科学・統計学の准教授でもあるデイヴィッド・デュベナウド（David Duvenaud）は、メールでThe Registerに対し、Talkieのすべての予測が「すでに起きたこと」に基づくのだから、長期予測の手法を評価することにもTalkieが役立てられると期待していると述べた。

デュベナウドはまた、チームがTalkieを使って文化変動を研究することに関心があるとも説明した。 「たとえば、これらのモデルを使って、ある法律が書かれた当時、その法がどのように解釈されていたはずかを理解しようと試みることができます。言語に当時の暗黙の前提や意味がどう組み込まれているかに基づいて、その解釈を推し量るのです」とデュベナウドは私たちに語った。

「3つ目の動機は、モデルが自分自身の“自己認識”をどのように形成するかを理解することです」とデュベナウドは付け加えた。「ある意味で、『LLMがどう振る舞うか』は自己成就的な予言になり得るので、そもそもLLMが何であるかを知らないモデル同士で話をさせることで、この点を学べるかもしれません」

とはいえ、パラメータ数がわずか130億（13 billion）にすぎないことを考えると、デュベナウドは認めている。Talkieと、現代データで学習したAIモデルの間には、大きな能力ギャップがあるのだ。

「アマチュアの研究として取り組んでいる立場なので、データでも計算でも、このギャップを完全に埋められるとは決して期待していません」と、その計算機科学の教授は私たちに語った。

では、そうした制約を除けば、ほかの点ではどれほど機能するのだろうか。 

私のせいじゃない、非デジタルな学習データのせいだ

Talkieのベンチマークに使われたのと同じアーキテクチャで現代データで学習したモデルに立ち返ると、足りないのは科学的発見やAGIの証明だけではないようだ。

「平均すると、talkieは標準的なLM評価で、現代版の対応物を下回っています。問題文の時代錯誤（アナクロニズム）を補正した後でもそうです。同じ数のFLOPsで学習しているにもかかわらずです」とチームは書いた。Talkieの開発者は、核となる言語理解テストや数能力（numeracy）のテストでは現代モデルと同程度に良好な結果を出せているとし、そして別の領域でパフォーマンスが劣る原因は特定している可能性があると推測している。光学文字認識（OCR）だ。 

「1930年にはデジタル出版が存在しなかったため、データセット内のあらゆるテキストは物理的な資料から書き起こす必要があり、その結果として、生まれつきデジタルのテキストでは見られない種類のノイズが混入することになります」とTalkieチームは述べた。 

• ロックされて、備蓄されて、そして予算を失う：AIベンダーロックインが逆襲する
• より多くのAIでAIを学習：大脳同士が割れている。モデル崩壊は避けられない？
• AIはまだうまく動かない。企業はごまかしている。そしていずれ精算の時が来る
• AIモデルは自分たちの仲間を守るために、あなたを騙す

OCRされた文書を扱ったことがある人なら、それがどれほど簡単に誤りを生み得るかを知っているはずで、結果としてTalkieのようなAIが、悪い回答や、場合によっては筋の通らない回答をそのまま吐き出してしまうことも容易に起こりうる。 

Talkieに取り組む中で、チームは次のことを突き止めた。OCRされた、1931年以前のテキストにだけ学習させても、同じ文書の人間による書き起こしコピーで学習したモデルの性能の30%にしかならないのだという。正規表現（Regex）によるデータのクリーニングを行うと、OCRされたテキストの性能は人間による書き起こしコピーの70%まで引き上げられるが、それでもTalkieの開発者たちにとっては大きすぎる差だ。彼らは、Talkieのための追加学習データを生成するための自前のOCRエンジンを開発中である。 

また、Talkieには「時間的リーク（temporal leakage）」という問題もあるとチームは言う。1931年で学習データが打ち切られているはずなのに、1936年にFDR（フランクリン・D・ルーズベルト）を大統領だと特定し、彼の立法上の功績をいくつか挙げることができたのだ。チームによれば、それは単に「事前学習コーパスに対するフィルタリングが不完全だった一例」であり、現在もなお取り組んでいるものだという。

つまり、Talkieは「タイムカプセルの中のチャットボット」の完全な見本とは程遠い。しかし、それを手がけたチームは、今後数か月でモデルをスケールさせることに意欲的だと述べている。具体的なタスクには、英語以外のテキストへの拡張、可能な限り学習データの再OCR、時代錯誤検出手法の強化、そして歴史家と協力して、学習後（post-training）データをより良いものとして投入することなどが含まれる。 

ナチズムを正確に捉えているのか気になっているなら、答えは「見方が1920年代で止まっている」ということを知っておくといい。ナチスが「ドイツにおける反ユダヤ主義的で権威主義的な政党である」ことは理解しているが、ナチスを率いているのは「ヘルマン・ヨーゼフ・フォン・ヒトラー」という名の人物だと考えている。彼は1870年生まれである（アドルフ・ヒトラーの20年前）。

計画通りに進めば、今夏にはTalkieのGPT-3級バージョンが登場するはずだ。 

「予備的な見積もりでも、歴史的テキストのコーパスを優に1兆トークン規模まで拡大できる可能性があるとも示唆されています。これは、オリジナルのChatGPTと同等の能力を持つ、GPT-3.5レベルのモデルを作るのに十分なはずです」と、Talkieの開発者たちは付け加えました。 

一方で、Talkieの現行バージョンはGitHubおよびHugging Faceからダウンロードできます。また、気になる人向けにWebインターフェース経由でチャットすることも可能ですが、警告には必ず注意してください。 

TalkieのWebクライアント上の注意書きには、「Talkieは、学習に使われたテキストの文化や価値観を反映しています。…不正確または不快な出力を生成することがあります」とあります。「メッセージはストリーミングで表示されますが、モデレーション（監視・検閲）が適用されるのは最後です。その結果、問題のあるコンテンツが、一度フラグ付けされる前に一瞬だけ表示される可能性があります。」 ®

関連記事について

• AI
• オープンソース
• ソフトウェア

これに近い内容