AmazonのTrainiumラボを独占見学—Anthropic、OpenAI、さらにはAppleをも魅了したチップ

AmazonのCEO Andy JassyがAWSの画期的な500億ドルの投資取引をOpenAIと発表した直後、Amazonはその取引の核となるチップ開発ラボの私費による私的ツアーに私を招待した、ほぼ自社負担で。 

業界の専門家は注目している AmazonのTrainiumチップは、当該施設で作られたもので、低コストのAI推論への影響、そしてNVIDIAのほぼ独占に対する打撃の可能性がある。

興味があったので、同行することに同意した。  

その日のツアーガイドは、研究所の所長クリストファー・キング（下部右に写っている）、エンジニアリング部門のディレクター・マーク・キャロル（下部左に写っている）、そして訪問の手配をしたチームの広報担当ドロン・アロンソン（後の本文で私と一緒に写っている写真）でした。 

AWSはAnthropicの主要なクラウドプラットフォームであり、AI研究所の初期からの関係は、Anthropicが後にMicrosoftをクラウドパートナーとして追加すること、そしてAmazonとOpenAIの協力関係が拡大していることを意味しています。

このOpenAIとの取引により、AWSはモデルメーカーの新しいAIエージェントビルダー Frontier の独占提供者となり、エージェントがシリコンバレーが考えるほど大きくなる場合、OpenAIの事業の重要な部分となる可能性があります。 その独占が発表どおり正確に成立するか見ていきましょう。The Financial Times 今週報じられた ことで MicrosoftはOpenAIとの契約がAmazonとの契約に違反していると信じている可能性があると伝えられており、すなわち Redmond が OpenAI の全モデルと技術へのアクセス OpenAIの全モデルと技術へのアクセス を得ることになる、と報じられています。

なぜOpenAIにとってAWSは魅力的なのか？この取引の一部として、このクラウド大手はOpenAIに対してTrainium計算容量2ギガワットを供給することに同意しました。これは巨額のコミットメントであり、AnthropicとAmazonのBedrockサービスがすでにTrainiumチップをAmazonの生産ペースより速く消費していることを考えると特にそうです。

全3世代にわたってデプロイされている Trainium チップは 140万個に上り、Anthropic の Claude はデプロイ済みの Trainium2 チップの 100万個を超えて動作すると同社は述べた。

Trainium は元々、より速く安価なモデル訓練を目的として設計されたが、現在は推論にも最適化されており、使用されています。推論とは、AI モデルを実際に実行して応答を生成するプロセスのことを指し、現在業界で最大の性能ボトルネックとなっている。

一例として、Trainium2 は Amazon の Bedrock サービス 上の推論トラフィックの大半を処理しており、Bedrock は Amazon の多くの企業顧客による AI アプリケーションの構築を支援し、アプリが複数のモデルを使用できるようにします。

“私たちの顧客基盤は、キャパシティを出せる限り速く拡大している」と King は語った。 “Bedrock はいつの日か EC2 と同じくらい大規模になる可能性がある”と彼は付け加え、AWS の巨大な計算クラウドサービスを指した。

Trainium 対 Nvidia

Nvidia の滞留気味で入手困難な GPU に対する代替手段を提供するだけでなく、Amazon は新しい専用 Trn3 UltraServers で動作する新しいチップが、従来のクラウドサーバーを使用する場合と同等の性能を得るには最大で 50% 低コストで実行できると述べています。

Along with Trainium3, released in December, this AWS team also built new Neuron switches, and Carroll says that combo is transformative.

“What that gives us is something huge,” Carroll said. The switches allow every Trainium3 chip to talk to every other chip in a mesh configuration, reducing latency. “That’s why Trainium3 is breaking all kinds of records,” particularly in “price per power,” he said.

When trillions of tokens a day are involved, such improvements add up. 

In fact, Amazon’s chip team was lauded by Apple in 2024. In a rare moment of openness for the secretive company, Apple’s director of AI publicly described how it used another of the team’s chips — Graviton, a low-power, ARM-based server CPU and the first breakout chip this team designed. Apple also lauded Inferentia — a chip specifically designed for inference — and gave a nod to Trainium, which was new at the time. 

These chips represent the classic Amazon playbook: See what people want to buy, then build an in-house alternative that competes on price. 

The catch for chips, historically, has been switching costs. Applications written for Nvidia’s chips must be re-architected to work with others — a time-consuming process that discourages developers from switching.

しかし AWS のチップ部門は誇らしげに、Trainium が現在 PyTorch をサポートしていることを私に伝えてくれました。これは AI モデルを構築するための人気のあるオープンソースのフレームワークです。これには Hugging Face にホストされている多くのモデルも含まれており、開発者がオープンソースモデルを共有する広大なライブラリです。

キャロルは移行には「基本的には一行の変更と再コンパイル、それから Trainium 上での実行」というステップが必要だと私に述べました。つまり、NVIDIA の市場支配を可能な限り削ろうとしているのです。

AWS は今月も Cerebras Systems とのパートナーシップを発表し、同社の推論チップを Trainium を搭載したサーバー上で統合することで、Amazon が約束する超強力で低遅延のAI性能を実現します。 

しかし、Amazon の野心はチップ自体を超えています。チップを搭載するサーバーも自社設計です。ネットワーキング要素に加え、このチームは「Nitro」と呼ばれる、仮想化技術を提供するハードウェアとソフトウェアの組み合わせを設計しました（これにより同じサーバー上で複数のソフトウェアインスタンスを独立して実行できるようにします）; 最先端の液体冷却技術、そしてこの装置を収容するサーバー・スレッド群（下の写真参照）を設計しています。 

それらすべては、コストと性能を管理するためのものです。 

“bring-up”を24時間体制で進める

Amazon のカスタムチップ設計部門は、クラウド巨頭が2015年1月にイスラエルのチップ設計会社 Annapurna Labs を約3億5千万ドルで買収したときに誕生しました。したがってこのチームは現在、AWS のためのチップ設計を10年以上手掛けています。部門は Annapurna のルーツと名称を引き継いでおり、オフィスのあらゆる場所にそのロゴが見られます。 

このチームは現在、AWS のためのチップ設計を10年以上行っています。 

このチップ研究所はオースティンの高級地区 The Domain にある、窓がクロムで光る建物にあります。歩けるエリアにはショップやレストランが並び、時には オースティンのシリコンバレー と呼ばれることもあります。 

オフィスはクラシックなテック企業の雰囲気で、区画化されたデスク、集まるスペース、会議室があります。しかしビルの高層階の奥に隠れるように実際のラボがあり、街を一望できる眺めが広がっています。 

棚でいっぱいのこのラボは、機器のファンの音のせいで騒々しい工業空間です。区画のあるデスクと集会スポット、そして会議室というクラシックなテック企業の雰囲気を持っています。しかしビルの高層階の奥には、実際のラボがあり、街を一望できる眺めが広がっています。 

ここはチップが製造されている場所ではないことにご注意ください。したがって白い有害物質防護服は必要ありませんでした。Trainium3は最先端の3ナノメートルチップで、TSMCによって製造されており、3ナノメートル製造のリーダーと見なされ、他のチップはMarvellによって製造されています。 

しかし、ここは“ブリングアップ”の魔法が起こる部屋です。  

“シリコンのブリングアップとは、初めてチップを手にしたときのことで、それはまるで一夜限りのパーティのようです。ここに滞在します、ロックインのように」とキングは説明します。18か月の作業の後、チップは初めてアクティブ化され、設計通りに機能するかを検証します。チームはTrainium3のブリングアップの一部を撮影し、YouTubeに投稿しました。

ネタバレ注意：決して問題が起こらないわけではありません。  

Trainium3 のプロトタイプチップは、以前のバージョンと同様に当初は空冷でした。現在のチップは液体冷却式で、エネルギー面の利点があり、これはかなりのエンジニアリングの偉業でした。

ブリングアップ中、チップを空冷ヒートシンクに取り付ける際の寸法が合っていなかったため、チップを起動することができませんでした。 

動じず、チームは「すぐにグラインダーを取り出して金属を削り始めた」とキングは述べた。騒音がブリングアップのピザパーティの雰囲気を乱さないよう、彼らはこっそり会議室で削る作業を行った。  

夜通し起きて問題を解決することこそが、シリコンのブリングアップの本質だとキングは言った。 

研究室には、チップの問題をテスト・分析するためのカスタム製品と市販ツールの両方が揃っています。ここでは、信号エンジニアのアーヴィンド・スリニヴァサンが研究室がチップ上の各小さな部品をどのようにテストするかをデモンストレーションしている様子です：

スレッズは研究室の主役だ 

しかし研究室の主役は、チームが設計した“sleds”の各世代を展示する1列です。 

AnthropicとOpenAIによって実証済み

ツアーの間、案内役はOpenAIとの取引の話を大いに自慢するだろうと予想していました。しかし、そうはなりませんでした。 

前述の、取引にかかる潜在的な法的あいまいさが影を落としている可能性があるかもしれません。しかし、私が感じたのは、現場で働くエンジニアたち（現在は次バージョンのTrainium4を設計中）は、OpenAIと一緒に仕事をする機会がまだあまり多くなかったということです。彼らの日常の仕事は、これまでAnthropicとAmazonのニーズに焦点を当ててきました。

現在、Trainium2チップの最大規模はプロジェクト・レイニアにデプロイされており、世界有数のAI計算クラスターのひとつです。2025年末に500,000個のチップを搭載して稼働を開始しました。Anthropic によって使用されています。

しかし、本部オフィスには、OpenAI が Trainium をどのように使用するかという引用を表示した壁掛けモニターがありました。誇りはそこにありました、控えめではあるものの。

この研究所に加えて、チームは品質とテスト目的のための独自のプライベートデータセンターも保有しています。車で少し走ったところにあり、顧客のワークロードは実行していません。そのため、AWSデータセンターではなく、コロケーション施設に収容されています。

セキュリティは厳格です。建物に入るための厳格な手続きと、内部のAmazonエリアへアクセスする手続きがあります。

データセンターの冷却システムは非常に大きな音を立てるため、耳栓の着用が義務づけられており、空気は加熱された金属の刺激臭でこもっています。平均的な人が長居するには心地の良い場所ではありません。

このデータセンターには、アマゾンの最新カスタムチップを統合したsledがびっしりと格納されたラックが何列にも並んでいます。Graviton CPU、液体冷却のTrainium3、Amazon Nitro、いずれも元気に計算を続けています。液体は閉じた循環系で流れており、再利用されるため、環境への影響の軽減にもつながるはずだとエンジニアは述べています。

チームへの注目は常に高かったが、最近は監視の目が本格的に厳しくなっている。

アマゾンのCEOであるアンディ・ジャシーはこの研究所を密かに監視し、誇らしげな父親のようにその製品を公然と自慢しています。12月には、TrainiumはすでにAWSにとって数十億ドル規模の事業でしたと述べ、それを呼んだ AWSの技術の中で彼が最も興奮しているものの一つだ。彼はOpenAIとの契約を発表した際にも、チップに賛辞を送ったのです。  

チームもプレッシャーを感じています。エンジニアは、各立ち上げイベントを前後して3～4週間、24時間体制で働き、問題を修正してチップを大量生産しデータセンターに投入できるようにします。

“実際に機能することをできるだけ早く証明することが非常に重要です」とキャロルは言いました。「これまでのところ、私たちは本当にうまくやっています。」 

*開示: アマゾンは航空運賃を提供し、地元のホテル1泊分の費用を負担しました。その倹約のリーダーシップ原則を尊重し、これは機内後方の中央席で控えめな部屋でした。TechCrunchはUber代や荷物料金など、他の関連の旅行費用を負担しました。（はい、一泊の出張で荷物を1つ預けました。私って結構手がかかるんです。）