マルチモーダル AI とは、文字（テキスト）だけでなく、画像・音声・動画なども同じひとつのモデルで読み書きできる AI のことです。少し前まで「文字を打つと文字で答えが返る」のが当たり前でしたが、いまは写真を見せて質問したり、会議の録音を渡して要約させたり、文章から画像・音声・動画を作らせたりが、ふつうの仕事の中でできるようになりました。この記事では、何ができて何が苦手か、どのモデルが何に対応しているか、料金で気をつけることまでを、はじめての人向けに具体例つきで整理します。
FIG.1 いろいろな種類の入力をひとつのモデルが受け取り、用途に応じて文章・画像・音声などで返す
ポイントは「変換アプリを何個も乗り換えなくていい」こと。以前は文字起こしアプリ・画像認識アプリ・翻訳アプリを別々に使っていた作業が、ひとつのモデルへの会話の中でまとめて進みます。一方で万能ではなく、後で触れるように「動画は料金がかさむ」「医療など規制のある分野は別の手続きが要る」といった注意点もあります。
01「モダリティ」とは何か
モダリティとは、情報の種類のこと。文字・画像・音声・動画・PDF などがそれぞれ別のモダリティです。マルチ（複数）モーダルは、これらを複数あつかえるという意味です。大事なのは 入力（読む）と出力（作る）は別ものだという点。「画像を読めるモデル」と「画像を作れるモデル」は同じとは限りません。下の比較で感覚をつかんでください。
| 入力（AI が読む・理解する） | 出力（AI が作る・生成する） |
|---|---|
| 写真を見せて「これは何の不具合？」と聞く | 「青空の下のカフェ」と書いて画像を作らせる |
| 録音を渡して議事録にしてもらう | 原稿を渡してナレーション音声にしてもらう |
| 動画を渡して「危ない場面を抜き出して」 | 絵コンテから短い動画クリップを作らせる |
モデルを選ぶときは「どのモダリティを、入力で要るのか出力で要るのか」を分けて考えると失敗しません。
02主要モデルの対応状況（2026年）
2026年4月時点で、最前線のモデル（GPT‑5.5、Gemini 3、Claude Opus 4.7 など）はいずれも画像・図表の理解で高い水準に達しています。ただし得意分野はモデルごとに分かれます。ざっくり言うと、動画と音声は Gemini が強く、グラフや「画面を見ながらのコーディング」は GPT が強く、長い書類の読み取り（OCR）は Claude が強い、という住み分けです。
