Name: 注目！新時代を切り開く「AIチップ」の製造現場に潜入！
Uploaded: 2024-01-09T21:01:20.000Z
Duration: 6 min 29 s

Over the last year, everyone has been talking about:

この1年、誰もが口にしてきた：

ジェネレーティブ AI（生成 AI）

I'm like, "Wait, why am I doing this? I just wait for the AI to do it."

待って、なぜ僕はこんなことをするんだ？AI がやってくれるのを待つだけなのに。

ブームを牽引するのは AI チップ。

Some no bigger than the size of your palm, and the demand for them has skyrocketed.

手のひらサイズのものもあり、その需要は急増しています。

We originally thought the total market for data center, AI accelerators would be about 150 billion, and now we think it's gonna be over 400 billion.

データセンターと AI アクセラレーターの市場規模は、当初1500億ドル程度と考えていましたが、現在は4000億ドル以上になると考えています。

As AI gains popularity, some of the world's tech titans are racing to design chips that run better and faster.

AI が普及するにつれて、世界の技術界の巨人たちはより良く、より速く動作するチップを設計しようと競い合っています。

Here's how they work and why tech companies are betting they're the future.

ここでは、その仕組みと、ハイテク企業が未来を賭ける理由を紹介しましょう。

これは「AI チップを支える技術」です。

This is Amazon's chip lab in Austin, Texas, where the company designs AI chips to use in AWS's servers.

これはテキサス州オースティンにあるアマゾンのチップ研究所で、AWS のサーバーで使用するAIチップを設計しています。

Right out of manufacturing, we get something that is called the wafer.

製造からすぐに、ウェハーと呼ばれるものができます。

Ron Diamant is the chief architect of Inferentia and Trainium, the company's custom AI chips.

ロン・ディアマンは、同社のカスタム AI チップである Inferentia と Trainium のチーフアーキテクトです。

These are the compute elements or the components that actually perform the computation.

これらはコンピュート・エレメント、つまり実際に計算を実行するコンポーネントです。

Each of these rectangles, called dice, is a chip.

これらの長方形はサイコロと呼ばれ、それぞれがチップです。

Each die contains tens of billions of microscopic semiconductors called transistors that communicate inputs and outputs.

各ダイスには、トランジスタと呼ばれる微細な半導体が何百億個も入っており、入出力の通信を行います。

Think about one millionth of a centimeter, that's roughly the size of each one of these transistors.

センチメートルの100万分の1が、このトランジスタの大きさです。

すべてのチップはこのような半導体を使用しています。

What makes AI chips different from CPUs, the kind of chip that powers your computer or phone, is how they're packaged.

AI チップが CPU と違うのは、そのパッケージの仕方です。

Say, for example, you want to generate a new image of a cat.

例えば、猫の新しい画像を生成したいとします。

CPUs have a smaller number of powerful cores.

CPU は強力なコアの数が少ないです。

The units that make up the chip that are good at doing a lot of different things, these cores process information sequentially.

チップを構成するユニットのうち、さまざまな処理を得意とするコアが情報を逐次処理します。

次から次へと計算が行われるわけです。

So to create a brand new image of a cat, it would only produce a couple pixels at a time.

つまり、まったく新しい猫の画像を作るには、一度に2、3ピクセルしか作れません。

But an AI chip has more cores that run in parallel, so it can process hundreds or even thousands of those cat pixels all at once.

しかし、AI チップは並列処理するコアが多いので、数百から数千の猫のピクセルを一度に処理することができます。

These cores are smaller and typically do less than CPU cores, but are specially designed for running AI calculations.

このコアは CPU コアよりも小さく、一般的に処理能力は劣りますが、AI 計算を実行するために特別に設計されています。

But those chips can't operate on their own.

しかし、これらのチップは単独では動作しません。

That compute die then gets integrated into a package, and that's what people typically think about when they think about the chip.

そして、そのコンピュート・ダイはパッケージに統合され、一般的にチップといえばそれを思い浮かべるでしょう。

Amazon makes two different AI chips, named for its two essential functions, training and inference.

アマゾンは2つの異なる AI チップを製造しており、その2つの重要な機能、トレーニングと推論にちなんで名付けられました。

Training is where an AI model is set millions of examples of something, images of cats, for instance, to teach it what a cat is and what it looks like.

トレーニングとは、AI モデルに何百万もの例、例えば猫の画像をセットして、猫とは何か、どんな姿をしているのかを学習させることです。

Inference is when it uses that training to actually generate an original image of a cat.

推論とは、その学習を使って実際に猫のオリジナル画像を生成することです。

Training is the most difficult part of this process.

トレーニングが一番難しいです。

We typically train not on one chip, but rather on tens of thousands of chips.

我々は通常、1つのチップではなく、何万ものチップでトレーニングを行います。

In contrast, inference is typically done on 1 to 16 chips.

一方、推論は通常1～16チップで行われます。

Processing all of that information demands a lot of energy, which generates heat.

このような情報を処理するには多くのエネルギーが必要であり、熱を発生させます。

And we're able to use this device here in order to force a certain temperature to the chip,

そして、チップに一定の温度を強制的に与えるために、この装置を使うことができ、

and that's how we're able to test that the chip is reliable at very low temperatures and very high temperatures.

そうすることで、このチップが低温でも高温でも信頼できることをテストすることができます。

To help keep chips cool, they're attached to heat sinks, pieces of metal with vents that help dissipate heat.

チップの冷却を助けるため、チップはヒートシンク（放熱孔のある金属片）に取り付けられています。

Once they're packaged, the chips are integrated into servers for Amazon's AWS cloud.

パッケージ化されたチップは、アマゾンの AWS クラウド用のサーバーに組み込まれます。

So the training cards will be mounted on this baseboard, eight of them in total, and they are interconnected between them at a very high bandwidth and low latency.

トレーニング・カードはこのベースボードに合計8枚搭載され、それらの間は非常に高い帯域幅と低いレイテンシーで相互接続されます。

So this allows the different training devices inside the server to work together on the same training job.

このため、サーバー内のさまざまなトレーニング機器が、同じトレーニングジョブで協力し合うことができるのです。

So if you are interacting with an AI chatbot, your text, your question will hit the CPUs, and the CPUs will move the data into the Inferentia2 devices, which will collectively perform a gigantic computation.

つまり、あなたが AI チャットボットと対話する場合、あなたのテキストや質問は CPU にぶつかり、CPU はデータを Inferentia2 デバイスに移動させ、それらが集合して巨大な計算を実行します。

Basically performing the AI model, will respond to the CPU with the result, and the CPU will send the result back to you.

基本的には、AI モデルが結果を CPU に返し、CPU がその結果をあなたに送り返します。

Amazon's chips are just one type competing in this emerging market, which is currently dominated by the biggest chip designer, Nvidia.

アマゾンのチップは、現在最大のチップ設計者である Nvidia が独占しているこの新興市場で競争している1つのタイプに過ぎません。

Nvidia is still a chip provider to all different types of customers who have to run different workloads.

Nvidia は依然として、さまざまなワークロードを実行しなければならないあらゆるタイプの顧客にチップを提供しています。

And then the next category of competitor that you have is the major cloud providers.

そして、次に競合するのは大手クラウド・プロバイダーです。

Microsoft, Amazon AWS, and Google are all designing their own chips because they can optimize their computing workloads for the software that runs on their cloud to get a performance edge,

マイクロソフト、アマゾン AWS、Google は、自社のクラウド上で動作するソフトウェア向けにコンピューティング・ワークロードを最適化することで、性能面で優位に立てるため、独自のチップを設計しており、

and they don't have to give Nvidia its very juicy profit margin on the sale of every chip.

また、Nvidia にすべてのチップの売上から得られる利益を与える必要もありません。

-But right now, generative AI is still a young technology.

-しかし現時点では、ジェネレーティブ AI はまだ未熟な技術です。

It's mostly used in consumer-facing products like chatbots and image generators,

チャットボットや画像ジェネレーターのような、消費者向けの製品に使われることがほとんどで、

but experts say that hype cycles around technology can pay off in the end.

しかし、専門家によれば、技術にまつわる誇大広告のサイクルは、最終的には報われる可能性があるといいます。

While there might be something like a dot-com bubble for the current AI hype cycle, at the end of the dot-com bubble was still the internet.

現在の AI のハイプ・サイクルにはドットコム・バブルのようなものがあるかもしれませんが、ドットコム・バブルの終わりにはまだインターネットがありました。

And I think we're in a similar situation with generative AI.

そして、生成 AI も同じような状況にあると思います。

The technology's rapid advance means that chips and the software to use them are going to have to keep up.

技術の進歩が速いということは、チップやそれを使うソフトウェアもそれに追いつかなければならないということです。

Amazon says it uses a mixture of its own chips and Nvidia's chips to give customers multiple options.

アマゾンは自社製チップと Nvidia 製チップを混在させ、顧客に複数の選択肢を提供しているといいます。

Microsoft says it's following a similar model.

マイクロソフトも似たようなモデルだと言っています。

For those cloud providers, the question is, how much of their computing workloads for AI is gonna be offered through Nvidia versus their own custom AI chips?

クラウドプロバイダーにとっては、AI用のコンピューティング・ワークロードのうち、どの程度が Nvidia を通じて提供されるのか、あるいは独自のカスタム AI チップと比較されるのかが問題となります。

And that's the battle that's playing out in corporate boardrooms all over the world.

これは、世界中の企業の役員室で繰り広げられている戦いです。

Amazon released a new version of Trainium in November.

アマゾンは11月に Trainium の新バージョンをリリースしました。

Diamant says he doesn't see the AI boom slowing down anytime soon.

ディアマントは、AI ブームがすぐに減速することはないと語っています。

We've been investing in machine learning and artificial intelligence for almost two decades now,

機械学習と人工知能への投資は、もう20年近くになり、

and we're just seeing a step-up in pace of innovation and capabilities that these models are enabling us.

このようなモデルによって、イノベーションのペースや能力が一段と向上していることを実感しています。

So our investment in AI chips is here to stay with a significant step-up in capabilities from generation to generation.

つまり、AI チップへの投資は、世代から世代へと能力を大幅にステップアップさせながら、今後も続くということです。