はじめに
最近、「AIだけでXを作った」という投稿があちこちにあります。個人のプロジェクトではこれが新しい普通になりつつあるように感じます。しかし専門的なソフトウェア開発（顧客向けの契約ベースのシステム開発を指します）においては、誰もが「AIだけで作った」と言うのを聞いたことがありません。
もしAIがすべてを処理でき、開発者が指示を出すだけで済むなら、コストは劇的に低下し、クライアントは大喜びするでしょう。では、AIの進歩にもかかわらず、専門的なプロジェクトはなぜまだ「AIだけ」で進行しないのでしょうか？
この問いに対する自分なりの答えを今、はっきりさせたい — そうすればAIの能力がさらに向上したときに見直す基準を持ち、「それは何かを変えるのか？」と再考できる。
結論は、責任の問題に尽きる。
「責任」を分解する
システム開発の契約には、「全てAIによって構築され、人間はバグについての責任を負わない」という条項を含めることはできません（もちろん、現実にはかなり現実的ではありません！）
では、契約上の文脈で「責任」とは実際に何を意味するのでしょうか？ おおよそ次の3つに分けられます：
- 保証期間（無償のバグ修正） — バグ修正自体の作業にはAIが関与することがあります。しかし、責任、すなわち損害賠償の取り扱いまたは契約終了といったものは、人間だけが負うことができます。
- 何か問題が起きたときに可能な限りすべてを尽くすという約束 — 謝罪、調整、予防措置の説明。これを行えるのは人間だけであり、AIにはできません。
- できる限りゼロに近いバグの最小化を誓うこと — 人間でも完璧を約束することはできません。しかし人間は「全力を尽くします」と言えます。AIは公然とゼロバグを保証できないことが有名で、誰もがそれを知っています。
要するに、責任を負えるのは人間だけであり、だからこそ「AIのみ」というアプローチは専門的な開発で用いられない根本的な理由です。
AIだけで危険なシステム
この責任の理解を前提にしても、以下の領域では人間の関与が依然として必要です：
| 領域 | 理由 |
|---|---|
| 医療（診断、薬剤など） | 命に直接影響します。誤りのコストが高すぎます。 |
| 支払いと金融 | 財務的損害が第三者にも及ぶ可能性があります。 |
| 企業間の法的文書（請求書、発注書など） | 法的拘束力があります。誤りは組織外の関係に影響を及ぼします。 |
共通するのは、誤りが人や社会に直接、取り返しのつかない影響を及ぼすという事実です。これらの分野でAI生成の出力を人間のレビューなしに使用することは、現時点では私の見解では依然としてリスクが高すぎます。
AIだけで問題ないシステム
一方で、これらの種類のシステムは
