LLMからハルシネーションまで：よくあるAI用語をシンプルに理解するためのガイド

人工知能は、深く複雑な世界です。この分野で働く研究者は、自分たちが取り組んでいることを説明するために、専門用語や業界用語に頼ることがよくあります。その結果、私たちは人工知能業界を取材する際、頻繁にそうした技術用語を使う必要があります。そこで、記事内で使用している中でも特に重要な言葉やフレーズについて、その定義をまとめた用語集を作ると役に立つのではないかと考えました。

研究者たちが、人工知能の最前線を押し広げる新しい手法を次々と明らかにしながら、顕在化しつつある安全上のリスクも特定しているため、この用語集は新しい項目を追加する形で定期的に更新していきます。

---

AGI

人工汎用知能、またはAGIは、はっきりしない（曖昧な）用語です。しかし一般的には、平均的な人間よりも、多くの、場合によってはほとんどのタスクにおいて能力が高いAIを指します。OpenAIのCEOであるサム・アルトマン は最近 AGIを「あなたが共同の同僚として雇える、中央値の人間に相当するもの」だと説明しています。一方で、OpenAIの憲章 では、AGIを「経済的に価値のある仕事の大半において、人間を上回る高度に自律したシステム」と定義しています。Google DeepMindの理解は、これら2つの定義とわずかに異なり、同研究所ではAGIを「ほとんどの認知タスクにおいて、人間と少なくとも同等以上の能力を持つAI」と見なしています。混乱していますか？大丈夫です―― 最前線でAI研究を行う専門家でさえ、AGIが何なのか正確には分かっていないのです。

AIエージェント

AIエージェントとは、より基本的なAIチャットボットではできないことも含めて、あなたの代わりに一連のタスクを実行するためにAI技術を使うツールのことを指します。たとえば、経費の申告、チケットの予約、レストランの席を確保すること、あるいはコードを書いて管理するといったことも含まれます。ただし私たちが 以前説明した ように、この新たに立ち上がりつつある領域には多くの要素が絡み合っているため、「AIエージェント」は人によって意味が異なる可能性があります。また、その構想された能力を実現するための基盤（インフラ）も、まだ構築中です。しかし基本的な考え方としては、複数のAIシステムを活用してマルチステップのタスクを実行し得る自律システムを意味します。

思考の連鎖

単純な質問なら、人間の脳はそれについて深く考えなくても答えを出せます――たとえば「キリンとネコでは、どちらが背が高い？」のようなことです。しかし多くの場合、適切な答えを導くには途中のステップ（中間段階）が必要なので、結局はペンと紙が要ることがよくあります。たとえば、農家がニワトリとウシを飼っていて、合わせて頭が40個、脚が120本だとします。この場合、答えを出すために簡単な方程式を書き下す必要があるかもしれません（ニワトリ20羽、ウシ20頭）。

AIの文脈では、大規模言語モデルにおける「思考の連鎖（chain-of-thought）による推論」とは、問題をより小さな中間ステップに分解して、最終結果の質を高めることを意味します。答えが出るまでの時間は通常長くなりますが、そのぶん特に論理やコーディングの文脈では、答えが正しい可能性が高くなります。推論モデルは、従来の大規模言語モデルをもとに開発され、強化学習によって思考の連鎖で考えることに最適化されています。

（参照：大規模言語モデル）

計算資源（Compute）

やや多義的な用語ではありますが、compute（計算資源）とは一般に、AIモデルが動作するために不可欠な計算能力のことを指します。この種の処理がAI業界を支え、強力なモデルを学習し、導入（デプロイ）できるようになります。この用語は、計算能力を提供するハードウェアの種類を指す簡略表現として使われることも多く、たとえばGPU、CPU、TPUなど、そして現代のAI業界の土台となるその他の形態のインフラがそれにあたります。

ディープラーニング

多層の人工ニューラルネットワーク（ANN）構造を備えるようにAIアルゴリズムを設計することで、自己改善型の機械学習の一部を成すものです。これにより、線形モデルや決定木などのより単純な機械学習ベースのシステムに比べて、より複雑な相関関係を見いだすことが可能になります。ディープラーニングのアルゴリズムの構造は、人間の脳におけるニューロンの相互につながった経路から着想を得ています。

ディープラーニングのAIモデルは、人間のエンジニアがこれらの特徴を定義する必要がないのではなく、自らデータの中から重要な特徴を見つけられます。また、その構造は、誤りから学び、反復と調整のプロセスを通じて自分自身の出力を改善できるアルゴリズムも支えます。とはいえ、ディープラーニングのシステムでは良い結果を得るために大量のデータ点（数百万以上）が必要です。さらに、より単純な機械学習アルゴリズムと比べて学習に時間がかかることが一般的なので、開発コストは高くなりがちです。

（参照：ニューラルネットワーク）

拡散（ディフュージョン）

拡散は、芸術・音楽・文章を生成する多くのAIモデルの中核となる技術です。物理学に触発されて、拡散システムはノイズを加えていき、何も残らなくなるまでデータの構造をゆっくりと「破壊」していきます――たとえば写真、曲などです。物理学では拡散は自発的で不可逆です。たとえば、コーヒーに溶けた砂糖は立方体の形に戻せません。しかしAIの拡散システムは、破壊されたデータを復元するために、いわば「逆拡散」のプロセスを学習しようとします。これにより、ノイズからデータを復元できる能力を獲得します。

蒸留

蒸留は、「教師—生徒」モデルを用いて、大規模なAIモデルから知識を抽出するための手法です。開発者は教師モデルにリクエストを送り、その出力を記録します。回答はときにデータセットと照合され、どれほど正確かが確認されます。その後、この出力を使って生徒モデルを訓練します。生徒モデルは、教師の振る舞いを近似するように学習されます。

蒸留は、最小限の蒸留ロスで、大きなモデルをベースにより小型で効率的なモデルを作るためにも使えます。おそらくOpenAIが、GPT-4のより高速版であるGPT-4 Turboを開発したのもこの方法でしょう。

すべてのAI企業が社内で蒸留を使っている一方で、最前線のモデルに追いつくために、他のいくつかのAI企業が蒸留を使っていた可能性もあります。競合からの蒸留は通常、AI APIやチャットアシスタントの利用規約に違反します。

ファインチューニング

これは、AIモデルの学習がこれまでの焦点であった領域よりも、より特定のタスクまたは分野に対して性能を最適化するために行う追加学習を指します――通常は、新しい専門化された（つまりタスク志向の）データを投入することで行われます。 

多くのAIスタートアップは、大規模言語モデルを出発点として商用プロダクトを作りつつも、自社のドメイン固有の知識と専門性に基づくファインチューニングで、以前の学習サイクルを補強することで、特定の業界セクターやタスクに対する有用性を強化しようと競っています。

（参照：大規模言語モデル [LLM]）

GAN

GAN（Generative Adversarial Network：敵対的生成ネットワーク）とは、一種の機械学習の枠組みであり、現実的なデータ――（もちろんそれだけではありませんが）ディープフェイクのツールを含む――を生成するという点で、生成AIにおけるいくつかの重要な進展の基盤になっています。GANでは2つのニューラルネットワークを使います。そのうちの1つは学習データを活用して出力を生成し、その出力が他方のモデルに渡されて評価されます。つまり2つ目の識別器（discriminator）モデルは、生成器の出力に対する分類器の役割を果たし、時間の経過とともに改善できるようになります。 

GANの構造は競争（だから「敵対的」）として設計されています。つまり、2つのモデルが互いに出し抜こうとするように実質的にプログラムされているのです。生成器は、その出力を識別器に見破られないようにしようとします。一方、識別器は人工的に生成されたデータを見抜こうとします。このような構造化された対決によって、追加の人手介入なしにAIの出力をより現実的なものに最適化できます。もっとも、GANは汎用のAIというより、現実的な写真や動画の生成のような、より狭い用途で最も効果を発揮します。

ハルシネーション

ハルシネーションは、AI業界がAIモデルがでっちあげをすることを指して好んで使う用語です。文字どおり、誤っている情報を生成してしまうことを意味します。いうまでもなく、これはAIの品質にとって大きな問題です。 

ハルシネーションによって生成AIの出力が誤解を招く可能性があり、さらに現実のリスクにつながりかねません――潜在的に危険な結果を伴う可能性があります（たとえば、健康に関する問い合わせに有害な医療アドバイスが返ってくるようなケースを想像してください）。このため、多くの生成AIツールの「小さな注意書き（免責文など）」では、ユーザーにAIが生成した回答を検証するよう促しています。とはいえ、そのような免責事項は通常、ツールがボタンひとつで提示する情報よりも、はるかに目立ちません。

AIが情報を捏造してしまう問題は、学習データに存在するギャップが原因として起こるものだと考えられています。一般用途の生成AI――いわゆる基盤モデル（foundation models）と呼ばれることもあります――においては、特にこれを解決するのが難しいように見えます。結局のところ、私たちが問い得るあらゆる質問に対して、AIモデルが包括的にすべてを解決できるように学習するために十分なデータが存在していないのです。TL;DR：まだ私たちは神（ゴッド）を発明していません（少なくとも現時点では）。 

ハルシネーションは、知識ギャップの可能性を減らし、誤情報のリスクを縮小する方法として、ますます専門化・/または縦型（特定領域特化）のAIモデルへと押し進める流れにも寄与しています。つまり、より狭い専門性を必要とする領域特化型AIです。

推論（インファレンス）

推論とは、AIモデルを動かすプロセスです。つまり、モデルを解き放って予測を行わせたり、これまでに見たデータから結論を導き出させたりすることです。明確にしておくと、推論は訓練なしには起こり得ません。モデルは、この訓練データから効果的に外挿（推測・補完）するために、データ群に含まれるパターンを学習しておく必要があります。

推論（inference）を実行できるハードウェアはいろいろあります。スマートフォンのプロセッサから、ずっしり大きなGPU、さらには専用設計のAIアクセラレータまで。しかし、それらがすべて同じようにモデルをうまく動かせるわけではありません。たとえば非常に大規模なモデルでは、ノートPCで予測を作るのに何時間も（場合によってはそれ以上）かかるのに対し、高度なAIチップを搭載したクラウドサーバーならはるかに短時間で済むことがあります。

[参照: Training]

大規模言語モデル（LLM）

大規模言語モデル（LLM）とは、ChatGPT、Claude、GoogleのGemini、MetaのAI Llama、Microsoft Copilot、またはMistralのLe Chatのような人気のAIアシスタントで使われているAIモデルです。AIアシスタントとチャットするとき、あなたの要求は直接的に（あるいはWeb閲覧やコードインタプリタのような利用可能なさまざまなツールの助けを借りて）処理する、大規模言語モデルとやり取りしています。

AIアシスタントとLLMには、さまざまな名前が付けられることがあります。たとえば、GPTはOpenAIの大規模言語モデルで、ChatGPTはAIアシスタントの製品です。

LLMは、数十億の数値パラメータ（または重み、下記参照）からなる深層ニューラルネットワークです。これらは、単語やフレーズの関係性を学習し、言語の表現を作り出します。つまり、単語の多次元マップのようなものです。

これらのモデルは、何十億冊もの書籍、記事、トランスクリプトに見られるパターンを符号化することで作られます。LLMにプロンプトを与えると、モデルはそのプロンプトに最も適合する可能性が高いパターンを生成します。そして、前に話された内容に基づいて、最後にある単語の次に最も起こりやすい単語を評価します。繰り返して、繰り返して、繰り返すのです。

(参照: ニューラルネットワーク)

メモリキャッシュ

メモリキャッシュとは、推論（AIがユーザーの質問に対して応答を生成するために行う処理）を後押しする重要なプロセスのことです。要するに、キャッシュは推論をより効率的にするための最適化技術です。AIはもちろん高出力の数学計算によって動かされています。そして、それらの計算が行われるたびに、より多くの電力を消費します。キャッシュは、特定の計算結果を将来のユーザーの問い合わせや処理のために保存しておくことで、モデルが実行しなければならない計算の回数を減らすよう設計されています。メモリキャッシュにはさまざまな種類がありますが、その中でもよく知られているのがKV（またはキー・バリュー）キャッシングです。KVキャッシュはトランスフォーマーベースのモデルで機能し、ユーザーの質問への回答を生成するのにかかる時間（およびアルゴリズム上の作業量）を減らすことで効率を高め、より速い結果を引き出します。   

(参照: 推論)  

ニューラルネットワーク

ニューラルネットワークとは、深層学習の基盤となる多層のアルゴリズム構造を指します。そしてより広く言えば、大規模言語モデルの登場をきっかけに広がった生成AIツール全体のブームを支えています。 

人間の脳の、密に結びついた経路をデータ処理アルゴリズムの設計構造として取り入れようという発想は1940年代にまでさかのぼりますが、この理論の力を本当に解き放ったのは、ずっと後に、（ゲーム業界を通じて）グラフィックス処理用のハードウェア（GPU）が台頭したことでした。これらのチップは、初期の時代では不可能だったほど多数の層を持つ学習アルゴリズムに非常に適していることが証明されました。その結果、音声認識、自律航法、創薬といった多くの領域において、ニューラルネットワークを用いたAIシステムは、はるかに高い性能を達成できるようになりました。

(参照: 大規模言語モデル［LLM］)

RAMageddon

RAMageddonは、IT業界を席巻している「楽しくないトレンド」に対する、面白い新しい造語です。具体的には、ランダムアクセスメモリ（RAM）チップの不足が、際限なく増えているということです。RAMは、私たちが日常的に使うほぼすべてのテック製品を動かしています。AI業界が花開くにつれて、最大手のテック企業やAIラボは、最も強力で効率的なAIを手に入れようと、データセンターを動かすために大量のRAMを買い込んでいます。その結果、残りは私たちのような他の人々のためにほとんど回ってきません。そしてこの供給ボトルネックによって、残ったものほどますます高価になっていきます。

その影響は、たとえばゲーム業界（大手企業がコンソールの価格を引き上げざるを得なくなっているのは、デバイス用のメモリチップを見つけにくいためです）、家電・民生用エレクトロニクス（メモリ不足がスマートフォン出荷の最大の落ち込みを、10年以上にわたって生じるほどにまで押し下げる可能性があります）、および一般的なエンタープライズのコンピューティング（企業が自社データセンター向けの十分なRAMを確保できないため）などにも及びます。価格の急騰は、忌まわしい不足が終わった後にようやく止まると見込まれていますが、残念ながら、近いうちにそれが起きる兆候は実のところあまりありません。  

Training

機械学習AIの開発には、トレーニングとして知られるプロセスが含まれます。簡単に言うと、これはモデルがパターンから学び、有用な出力を生成できるようにするために、データを入力として与えることを指します。

この時点のAIスタックでは、少し哲学的になることがあります。というのも、事前学習の段階では、学習システムを開発するための出発点として使われる数学的な構造は、層の集まりと無作為な数の束にすぎないからです。AIモデルの本当の形ができあがるのは、訓練（トレーニング）によってのみです。要するに、システムがデータ内の特徴に対して応答するというプロセスによって、出力が、望まれる目標へと適応していくのです。たとえば、それが猫の画像を識別することでも、要望どおりに俳句を生成することでも同じです。

なお、すべてのAIが学習を必要とするわけではない点に注意が必要です。手作業で事前に定義された指示に従うようにプログラムされたルールベースのAI（たとえば、線形チャットボットなど）は、訓練を受ける必要がありません。ただし、このようなAIシステムは、（きちんと学習された）自己学習型のシステムよりも制約が強い可能性が高いです。

とはいえ、訓練はコストがかかることがあります。なぜなら、多くの入力が必要だからです。そして通常、そのようなモデルに必要とされる入力の量は、増加傾向にあります。

モデル開発をショートカットしてコストを管理するために、ハイブリッドなアプローチが使われることもあります。たとえば、ルールベースのAIに対してデータ主導のファインチューニングを行うようなケースです。つまり、開発者が最初からゼロで構築した場合よりも、開発に必要なデータ、計算（compute）、エネルギー、アルゴリズムの複雑さを少なくて済ませられる、ということです。

[参照： 推論（Inference）]

トークン

人と機械のコミュニケーションとなると、いくつかの明白な課題があります。人は人間の言語を使ってコミュニケーションしますが、AIプログラムはタスクを実行し、データに基づいた複雑なアルゴリズム処理を通じて問い合わせに応答します。最も単純に定義すると、トークンは人間とAIのコミュニケーションの基本的な構成要素を表します。つまり、LLMが処理または生成した離散的なデータの区切り（セグメント）です。 

トークンは「トークン化（tokenization）」と呼ばれるプロセスによって作られます。生のデータを分解し、LLMが消化できる（理解しやすい）別々の単位へと洗練していきます。ソフトウェアのコンパイラが、人間の言語をコンピュータが読み取れる二進コードに変換するのと似て、トークン化は、ユーザーの問い合わせを通じてAIプログラムに対し、人間の言語を解釈し、応答を準備できるようにします。 

トークンにはいくつかの種類があります。たとえば、入力トークン（人間のユーザーの問い合わせに応じて生成される必要がある種類）、出力トークン（LLMが人間の要求に応答する際に生成される種類）、そして推論トークンです。推論トークンは、ユーザーの要求の一部として行われる、より長く集中的なタスクやプロセスを伴います。 

エンタープライズ向けAIでは、トークンの使用量もコストを左右します。トークンはモデルが処理するデータ量に相当するため、AI業界がサービスを収益化する手段にもなってきました。ほとんどのAI企業は、LLMの利用を「トークン単位」で課金します。したがって、企業がAIプログラム（たとえばChatGPT）を使うほど多くのトークンを消費するなら、AIサービス提供者（OpenAI）に支払う金額も増えることになります。 

転移学習（Transfer learning）

過去に学習済みのAIモデルを、異なるが通常は関連のあるタスクに対する新しいモデルを開発する際の出発点として用いる手法です。これにより、前回の学習サイクルで得られた知識を再利用できるようになります。 

転移学習は、モデル開発をショートカットすることで効率化によるコスト削減を促進します。また、モデルが開発されているタスクに関するデータがある程度限られている場合にも有用です。ただし、このアプローチには限界がある点に注意が必要です。一般化された能力を得るために転移学習に依存するモデルは、注力する領域でうまく機能するために、追加データでの学習が必要になる可能性があります。

（参照：ファインチューニング）

重み（Weights）

重みはAIの学習における中核です。重みは、訓練に使われるデータの中で、さまざまな特徴（または入力変数）に対してどれほどの重要度（重み付け）を与えるかを決定し、それによってAIモデルの出力が形作られるためです。 

言い換えると、重みは、指定された学習タスクにおいて、データセットの中で何が最も重要であるかを定義する数値パラメータです。重みは、入力に対して乗算を適用することでその機能を果たします。モデルの学習は通常、無作為に割り当てられた重みから始まりますが、そのプロセスが進むにつれて、モデルが目標により近い出力に到達しようとするため、重みは調整されていきます。

たとえば、特定の地域の住宅価格を予測するためのAIモデルが、過去の不動産データで学習する場合、そのモデルには、寝室数や風呂（バスルーム）数といった特徴に加え、物件が一戸建てか、それとも区分（セミ）戸建てか、駐車場があるか、ガレージがあるか、などに関する重みが含まれている可能性があります。 

最終的に、モデルがこれらの各入力に対して付与する重みは、与えられたデータセットに基づいて、その物件の価値にどれほど影響するかを反映しています。

この記事は新しい情報で定期的に更新されます。