「LLM を組み込んだアプリ」とは、大規模言語モデル（GPT-5.5 や Claude Opus 4.8 のような文章を生成する AI）を裏側で呼び出して動くソフトのことです。チャットボット・社内アシスタント・定型業務の自動化まで、形はさまざまですが、土台になる構造はどれもよく似ています。難しさは「モデルを呼ぶこと」自体ではありません。本当の勘所は、出力が毎回ぶれる・ときどき間違える前提でアプリを設計すること。ここを押さえると、最初の一歩から落とし穴を避けられます。
Under the Hood
01LLM アプリの基本構造
多くの LLM アプリは、入力を受け取り、モデルに渡す指示文（プロンプト）を組み立て、モデルを呼び、返ってきた答えを検証・整形して使う——というひとつの流れに収まります。ユーザーから見えるのは最後の答えだけですが、その手前に必ずこの 4 段があります。
FIG.1 入力 → プロンプト構築 → モデル呼び出し → 後処理。見えるのは最後だけ
4 段それぞれの中身を、もう少しかみくだくと次のようになります。
- 入力：ユーザーが打ち込んだ質問や依頼に、会話の履歴や参照すべきデータ（社内文書など）を添える。
- プロンプト構築：「あなたは○○のアシスタントです」というシステム指示に、文脈とユーザー入力を組み合わせて、モデルに渡す一塊の文章を作る。
- モデル呼び出し：OpenAI や Anthropic などの API へリクエストを送る。返答を一文字ずつ流すストリーミングにすると、待ち時間が体感で短くなる。
- 後処理：返ってきた答えをそのまま信じず、形式を確かめ、必要なら外部の処理（ツール）を呼び、最後に画面表示や保存をする。
02作るのは大きく3タイプ
「LLM アプリを作りたい」と言っても、目指す形によって必要な部品も難しさも変わります。代表的な 3 つの型を知っておくと、自分の用途がどこに当たるか見当がつきます。下にいくほど、モデルに任せる範囲が広がり、そのぶん安全策の重みも増します。
チャット
ユーザーと往復で対話する。Q&A や下書き作成など。会話履歴をどう持つかが設計の中心。最初の一歩に向く。
アシスタント
対話に加えて、社内文書の検索や外部サービスの操作（ツール呼び出し）を行う。できることが一気に広がる。
自動化
人を介さず、決まった手順を繰り返し実行する。請求書の仕分けなど。間違いがそのまま流れるので検証が要。
注意したいのは、「チャットは無料・低リスク、自動化は有料・高リスク」と単純に分けられないこと。料金は使うモデルと量で決まり、リスクはその AI に何を触らせるかで決まります。読むだけのチャットより、送金やメール送信ができるアシスタントのほうが、当然慎重さが要ります。
03最初に決める3つのこと
コードを書き始める前に、次の 3 点を言葉にしておくと、後の判断が一気に楽になります。曖昧なまま進めると、モデル選びでも安全策でも迷子になりがちです。
