Brett Levensonが2019年にAppleを離れ、Facebookでビジネスインテグリティを率いる立場に就いたとき、ソーシャルメディア大手はケンブリッジ・アナリティカをめぐる一連の余波のど真ん中にいた。当時、彼はより良い技術でFacebookのコンテンツモデレーション問題を単に修正できると思っていた。
しかし問題は、彼がすぐに学んだ通り、技術よりもずっと深いところにあった。機械翻訳で自分たちの言語に変換された40ページのポリシー文書を、監査する人間が暗記することが求められていたのだと、Levensonは述べた。そのうえで、フラグが立ったコンテンツ1件あたり、判断の猶予はおよそ30秒しかない。そこでは、そのコンテンツがルールに違反しているかどうかだけでなく、どう対処するか——ブロックするのか、ユーザーを禁止するのか、拡散を制限するのか——を決めなければならない。こうした素早い判断は、Levensonによれば「精度はわずか50%ちょっと」だった。
「人間のレビュー担当が、実際にポリシーを正しく扱えるかどうかは、硬貨を投げて当たるかどうかみたいなものだった。そして、いずれにせよ被害はすでに起きてから何日も経った後の話だった」とLevensonはTechCrunchに語った。
こうした遅れて対応するリアクティブなアプローチは、機敏で資金力のある敵対的アクターが存在する世界では持続可能ではない。AIチャットボットの台頭は問題をさらに悪化させており、コンテンツモデレーションの失敗が一連の注目を集める重大インシデントを引き起こしている。たとえば、チャットボットがティーンに自傷のための助言を与えたり、AI生成の画像が安全フィルターをすり抜けたりするケースだ。
Levensonの苛立ちは、「ポリシー・アズ・コード（policy as code）」という発想につながった。これは、静的なポリシー文書を、執行と密に結びついた、実行可能で更新可能なロジックへと変換する方法だ。その洞察はMoonbounceの創業へとつながり、同社は金曜日に資金調達として1,200万ドルを調達したと発表した、とTechCrunchが独占的に取材で明らかにした。今回のラウンドはAmplify PartnersとStepStone Groupが共同で主導した。
Moonbounceは、ユーザーまたはAIによって生成されるコンテンツのあらゆる場面において、追加の安全レイヤーを提供するために企業と連携している。同社は、顧客のポリシー文書を見て、実行時にコンテンツを評価し、300ミリ秒以内に応答し、そしてアクションを取るよう、自社の大規模言語モデルを訓練した。顧客の好みによって、そのアクションは、コンテンツが後で人間によるレビューを待つ間はMoonbounceのシステムが配信速度を落とすようなものになる可能性があるし、その場で高リスクのコンテンツをブロックすることになるかもしれない。
現在、Moonbounceが主に手がける3つの領域は、①デーティングアプリのようにユーザー生成コンテンツを扱うプラットフォーム、②キャラクターやコンパニオンを作るAI企業、③AI画像ジェネレーターだ。
Disrupt 2026：テック・エコシステムを1つの部屋に集結
次のラウンド。次の採用。次のブレイクスルーの機会。 TechCrunch Disrupt 2026には、10,000人以上の創業者、投資家、テックリーダーが3日間集結し、250回以上の戦術的セッション、強力な紹介、そして市場を定義するイノベーションを提供します。今すぐ登録して最大400ドルの割引を受けましょう。
最大300ドルまたは30%オフでTechCrunch Founder Summit
1,000人以上の創業者と投資家がTechCrunch Founder Summit 2026に一堂に会し、成長、実行、現実世界でのスケーリングに焦点を当てた終日プログラムをお届けします。業界を形作ってきた創業者や投資家から学びましょう。同様の成長段階を歩む仲間とつながりましょう。すぐに適用できる戦術を持ち帰れます
オファーは3月13日まで。
Levensonによれば、Moonbounceは日次で4,000万件超のレビューを支援しており、同プラットフォームで日次アクティブユーザーは1億人超にサービスを提供しているという。顧客には、AIコンパニオンのスタートアップChannel AI、画像・動画生成の企業Civitai、キャラクターのロールプレイ・プラットフォームであるDippy AIやMoescapeが含まれる。
「安全性は実際にプロダクト上のメリットになり得ます」とLevensonはTechCrunchに語った。「ただ、それがこれまで製品に組み込めるものではなく“後になって発生するもの”として扱われてきたため、そうなってこなかった。ところが私たちは、顧客が当社の技術を使って安全性を差別化要因にし、自社のプロダクトの物語の一部として組み込む、とても興味深く革新的な方法を見出しているのを確認しています。」
Tinderの信頼・安全責任者 最近説明した ところによると、デーティング・プラットフォームはこうしたタイプのLLMを活用したサービスを使って、検出の精度を10倍に改善しているとのことだ。
「コンテンツのモデレーションは、これまでも大規模なオンライン・プラットフォームを悩ませてきた問題でしたが、今ではすべてのアプリケーションの中心にLLMがあることで、この課題はさらに手強いものになっています」—と、Amplify Partnersのゼネラル・パートナーであるLenny Prussは声明で述べました。 「私たちはMoonbounceに投資しました。なぜなら、客観的でリアルタイムのガードレールが、あらゆるAIを介したアプリケーションの実現を支える基盤になる世界を思い描いているからです。」
AI企業は、チャットボットがティーンエイジャーや脆弱なユーザーを自殺へと追い込んだとして非難されたことや、xAIのGrokのような画像生成器が、同意のないヌード画像の作成に使われたことを受けて、法的および風評上の圧力が高まっています。明らかに、社内の安全対策（ガードレール）が機能不全に陥っており、責任（リスク）問題になりつつあります。Levensonは、AI企業が安全性のインフラ強化について、ますます自社の内側だけではなく外部に助けを求めるようになっていると述べました。
「私たちはユーザーとチャットボットの間に立つ第三者なので、チャットそのもののようにシステムが文脈で溢れかえるわけではありません」—とLevensonは語りました。 「チャットボット自体は、それ以前に蓄積された、潜在的に数万トークンものことを覚えておく必要があります……。私たちが心配しているのは、実行時にルールを強制することだけです。」
Levensonは、12人規模の同社を、かつてのApple同僚であるAsh Bhardwajとともに運営しています。Bhardwajは、iPhoneメーカーの中核となる提供内容全体で、大規模なクラウドおよびAIインフラを以前に構築していました。次の注力は「iterative steering（反復的ステアリング）」と呼ばれる能力で、2024年に14歳のフロリダ少年が自殺した事件のようなケースを受けて開発されました。この少年はCharacter AIのチャットボットに強く執着するようになりました。有害な話題が出てきたときに、単に露骨に拒否するのではなく、システムが会話をいったん遮り、話題をそらします。そして、プロンプトをリアルタイムで修正し、チャットボットがより積極的に支援する応答を返す方向へと導きます。
「私たちは、行動（アクション）のツールキットに、チャットボットをより良い方向へ導く能力を追加できればと考えています。要するに、ユーザーのプロンプトを取り、それを修正して、こうした状況においてチャットボットが単に共感的な聞き役になるだけでなく、役に立つ聞き役になるように強制するのです」—とLevensonは述べました。
Levensonに対して、退任後の戦略にMetaのような企業による買収が含まれているのか、コンテンツモデレーションに関する自分の取り組みを一巡させることになるのかを尋ねると、彼は、Moonbounceが以前の雇用主のスタックにどれほどうまく適合するか、そしてCEOとしての自分自身の受託者としての義務（フィデューシャリー・デューティ）にも照らして、そうした可能性を理解していると答えました。
「投資家はこれを口にしたら私を殺しに来るでしょう。でも、誰かに私たちを買われて、その後に技術が制限されるのを見るのは嫌だと思います」—と彼は言いました。 「たとえば、『これはもう私たちのものだ。ほかの誰もそれから恩恵を受けられない』みたいな感じです。」
