Name: イーロン・マスクがテスラとxAIを強化するためにスーパーコンピュータに大きく賭ける理由 (Why Elon Musk Is Betting Big On Supercomputers To Boost Tesla And xAI)
Uploaded: 2024-09-25T06:24:29.000Z
Duration: 15 min 53 s

Tech titan Elon Musk is known for being a car guy, a rocket guy, a social media guy, and now he's also a supercomputer guy.

技術界の巨人イーロン・マスクは、自動車男、ロケット男、ソーシャルメディア男として知られているが、現在はスーパーコンピューター男でもある。

And Elon Musk says Tesla will spend well over $1 billion by the end of 2024 on building an in-house supercomputer known as Project Dojo.

また、イーロン・マスクによれば、テスラは2024年末までに、プロジェクトDojoとして知られる社内スーパーコンピューターの構築に10億ドル以上を費やすという。

Although supercomputers look a lot like data centers, they're designed to perform calculations and process data at extremely high speeds.

スーパーコンピューターはデータセンターとよく似ているが、極めて高速で計算やデータ処理を行うように設計されている。

Both of them are about scaling up to very large amounts of computation.

どちらも、非常に大きな計算量にスケールアップすることを目的としている。

However, like, you know, in a data center, you have a lot of small parallel tasks that are not necessarily connected to each other.

しかし、例えばデータセンターでは、たくさんの小さな並列タスクがあり、それらは必ずしも互いに関連しているわけではない。

Whereas, for example, when you're training a very large AI model, those are not entirely independent computations.

一方、例えば非常に大規模なAIモデルをトレーニングする場合、これらは完全に独立した計算ではない。

So you do need tighter interconnection between those computations and the passing of data back and forth needs to be potentially at a much higher bandwidth and a much lower latency.

そのため、これらの計算機間の相互接続を強化する必要があり、データの受け渡しは潜在的に、より高い帯域幅とより低いレイテンシが必要となる。

Musk wants to use this supercomputing power to improve Tesla's autonomous driving capabilities and finally deliver on the company's years-long promise to bring robotaxis to market.

マスク氏は、このスーパーコンピューティング・パワーを使ってテスラの自律走行能力を向上させ、ロボットタクシーの市場投入という同社の長年の約束をついに実現したいと考えている。

Supercomputers are also needed to train Tesla's humanoid robot, Optimus, which the company plans to use in its factories starting next year.

スーパーコンピューターは、テスラが来年から工場で使う予定の人型ロボット「オプティマス」の訓練にも必要だ。

All in all, Musk says that Tesla plans to spend $10 billion this year on AI.

マスクによれば、テスラは今年100億ドルをAIに費やす予定だという。

Musk's new AI venture, XAI, also needs powerful supercomputers to train XAI's chatbot, Grok, which directly competes with OpenAI's ChatGPT and Google's Gemini chatbots.

マスクの新しいAIベンチャーであるXAIも、XAIのチャットボットであるGrokを訓練するために強力なスーパーコンピューターを必要としている。

Several of Musk's supercomputer projects are already in development.

マスクのスーパーコンピューター・プロジェクトのいくつかは、すでに開発が進んでいる。

In August, Elon Musk teased Tesla's AI supercomputer cluster called Cortex-on-X.

8月、イーロン・マスクはテスラのAIスーパーコンピューター群「Cortex-on-X」を予告した。

Cortex is being built at Tesla's Austin, Texas, headquarters.

Cortexはテキサス州オースティンのテスラ本社で製造されている。

Back in January, Tesla also announced that it planned to spend $500 million to build its Dojo supercomputer in Buffalo, New York.

テスラは1月にも、5億ドルを投じてニューヨーク州バッファローにスーパーコンピューター「Dojo」を建設する計画を発表している。

Meanwhile, Musk just revealed that XAI's Colossus supercomputer in Memphis, Tennessee, was up and running.

一方、マスクはテネシー州メンフィスにあるXAIのスーパーコンピューター「コロッサス」が稼働していることを明らかにしたばかりだ。

CNBC wanted to learn more about what Musk's bet on supercomputers might mean for the future of his companies and the challenges he faces in the ultra-competitive world of AI development.

CNBCは、マスク氏のスーパーコンピューターへの賭けが、彼の会社の将来にとってどのような意味を持つのか、また、超競争的なAI開発の世界で彼が直面する課題について、さらに詳しく知りたいと考えた。

You had supercomputers, if you go to any of the national labs, they're used for everything from simulation materials discovery to climate modeling to modeling nuclear reactions and so on and so forth.

スーパーコンピューターは、どの国立研究所に行っても、シミュレーション材料の発見から気候のモデリング、核反応のモデリングなど、あらゆることに使われている。

However, what's unique about AI supercomputers is that they are entirely optimized for AI.

しかし、AIスーパーコンピューターの特徴は、AIに完全に最適化されていることだ。

Musk launched XAI in 2023 to develop large language models and AI products like its chatbot, Grok, as an alternative to AI tools being created by OpenAI, Microsoft and Google.

マスクは2023年にXAIを立ち上げ、OpenAIやマイクロソフト、グーグルが開発しているAIツールの代替として、大規模な言語モデルやチャットボット「Grok」のようなAI製品を開発している。

Despite being one of its original founders, Elon Musk left OpenAI in 2018 and has since become one of the company's harshest critics.

イーロン・マスクは創業者の1人であるにもかかわらず、2018年にOpenAIを去り、それ以来、同社の最も厳しい批評家の1人となっている。

In June, it was announced that XAI would build a supercomputer in Memphis, Tennessee, to carry out the task of training Grok.

6月、XAIはテネシー州メンフィスにスーパーコンピューターを建設し、Grokのトレーニングを行なうと発表した。

It would represent the city's largest multibillion-dollar capital investment by a new-to-market company in Memphis history.

メンフィスの歴史上、新規参入企業による数十億ドル規模の資本投資は最大となる。

The announcement came at the heels of XAI securing $6 billion in Series B funding, raising its valuation at the time from $18 to $24 billion.

今回の発表は、XAIがシリーズBで60億ドルの資金を獲得し、当時の評価額を180億ドルから240億ドルに引き上げた直後に行われた。

By early September, Musk announced that his training supercluster in Memphis, called Colossus, was online.

9月上旬までに、マスクはメンフィスにある「コロッサス」と呼ばれるトレーニング用超巨大クラスターがオンラインになったことを発表した。

The supercluster is powered by 100,000 NVIDIA H100 graphics processing units, or GPUs, making it the most powerful AI training system in the world, according to Musk.

マスク氏によれば、このスーパークラスターは10万個のエヌビディアH100グラフィック・プロセッシング・ユニット（GPU）を搭載しており、世界で最も強力なAIトレーニングシステムだという。

He went on to say that the cluster would double in size in the next few months.

彼はさらに、このクラスターは今後数カ月で2倍の規模になるだろうと語った。

これらのGPUは以前から存在していた。

They started off in laptops, in desktops, to be able to offload graphics work from the core CPU.

最初はノートパソコンやデスクトップパソコンで、コアCPUからグラフィックス作業をオフロードできるようにするために始まった。

つまり、これはアクセラレーターなのだ。

If you go back sort of 10 years or so, 15 years ago, online gaming was blowing up and people wanted to game at speed.

10年ほど前、15年ほど前にさかのぼると、オンラインゲームが爆発的に普及し、人々はスピードゲームを求めていた。

And then they realized that having graphics and the general purpose of the game on the same processor just led to constraints.

そして、グラフィックスとゲームの一般的な用途を同じプロセッサーで処理することは、制約を生むだけだと気づいた。

So it's a very specific task to train a large language model.

つまり、大規模な言語モデルを訓練するのは非常に特殊な作業なのだ。

And doing that on a classic CPU, you can.

それをクラシックCPUでやればいい。

But it's one of those examples where the particular architecture of a GPU plays well for that type of workload.

しかし、GPUの特殊なアーキテクチャがその種のワークロードに適している例のひとつだ。

In fact, GPUs became so popular that chipmakers like NVIDIA, for a time, had a hard time keeping up with demand.

実際、GPUがあまりに普及したため、エヌビディアのようなチップメーカーは一時期、需要に追いつくのに苦労した。

The fight for GPUs has even caused competition among Musk's own companies.

GPUをめぐる争いは、マスク自身の会社の間でも起きている。

Musk's social media company X and XAI are closely intertwined, with X hosting XAI's Grok chatbot on its site and XAI using some capacity in X data centers to train the large language models that power Grok.

マスクのソーシャルメディア企業XとXAIは密接に絡み合っており、XはXAIのチャットボットGrokを自社サイトでホスティングし、XAIはGrokを動かす大規模な言語モデルを訓練するためにXのデータセンターの一部の容量を使っている。

In December 2023, Elon Musk ordered NVIDIA to ship 12,000 of these very coveted AI chips, H100 GPUs from NVIDIA, to X instead of to Tesla when they had been reserved for Tesla.

2023年12月、イーロン・マスクはエヌビディアに対し、テスラ用に予約されていたこれらのAIチップ、エヌビディアのH100 GPUをテスラではなくXに12,000個出荷するよう命じた。

So he effectively delayed Tesla's being able to continue building out data center and AI infrastructure by five, six months.

そのため、テスラがデータセンターとAIインフラを構築し続けることができるのは、事実上5～6カ月遅れることになった。

The incident was one example that shareholders used in a lawsuit against Musk and Tesla's board of directors that accused them of fiduciary duty.

この事件は、マスク氏とテスラの取締役会に対する受託者責任を問う訴訟で株主が使用した事例のひとつである。

They argued that after founding XAI, Musk began diverting scarce talent and resources from Tesla to his new company.

XAI設立後、マスクは希少な人材と資源をテスラから新会社に流用し始めたと主張した。

Musk defended his decision on X, saying that Tesla was not ready to utilize the chips and that they would have just sat in a warehouse had he not diverted them.

マスクは、テスラはチップを利用する準備ができておらず、チップを流用しなければ倉庫に眠っていただろうとXでの決断を擁護した。

Musk has gone as far as to suggest that Tesla should invest $5 billion into XAI.

マスクはテスラがXAIに50億ドルを投資すべきだとまで言っている。

Still, Musk has big plans on how artificial intelligence can transform Tesla.

それでもマスクは、人工知能がテスラをどのように変えることができるかについて、大きな計画を持っている。

In January, he wrote on X that Tesla should be Key to this transformation is Tesla's custom-built supercomputer called Dojo, details of which the company first publicly announced during Tesla's AI Day presentation in 2021.

彼は1月、テスラがこの変革の鍵を握るのは「Dojo」と呼ばれるテスラの特注スーパーコンピューターであるとXに書いている。

There's an insatiable demand for speed as well as capacity for neural network training.

ニューラルネットワークのトレーニングには、スピードと容量に対する飽くなき要求がある。

そしてイーロンはこう前置きした。

And a few years back, he asked us to design a super fast training computer.

そして数年前、彼は私たちに超高速トレーニング用コンピューターの設計を依頼してきた。

こうして私たちはプロジェクト道場を始めた。

During the company's Q2 earnings call last year, Musk told investors that Tesla would spend over a billion dollars on Dojo by the end of 2024.

昨年の第2四半期決算説明会でマスクは、テスラは2024年末までに道場に10億ドル以上を費やすと投資家に語った。

A few months later, Morgan Stanley predicted that Dojo could boost Tesla's value by $500 billion.

数カ月後、モルガン・スタンレーは、Dojoがテスラの価値を5000億ドル押し上げる可能性があると予測した。

Dojo's main job is to process and train AI models using the huge amounts of video and data captured by Tesla vehicles.

Dojoの主な仕事は、テスラ車が撮影した膨大な量のビデオやデータを使ってAIモデルを処理し、訓練することだ。

The goal is to improve Tesla's suite of driver assistance features, which the company calls Autopilot, as well as its more robust full self-driving or FSD system.

その目的は、テスラがオートパイロットと呼ぶ一連の運転支援機能と、より強固な完全自動運転（FSD）システムを改善することだ。

They've sold, what is it, 5 million plus cars.

販売台数は500万台以上だろうか。

Each one of those cars typically has eight cameras plus in it.

これらの車には通常8台のカメラが搭載されている。

They're streaming all of that video back to Tesla.

その映像はすべてテスラにストリーミングされている。

So what can they do with that training set?

では、そのトレーニングセットで何ができるのか？

Obviously, they can develop full self-driving and they're getting close to that.

もちろん、完全な自動運転を開発することは可能だし、それに近づいている。

Despite their names, neither Autopilot nor FSD make Tesla vehicles autonomous and require active driver supervision, as Tesla states on its website.

オートパイロットもFSDも、その名前とは裏腹に、テスラ車を自律走行させるものではなく、テスラがウェブサイトで述べているように、ドライバーによる能動的な監視を必要とするものである。

The company has garnered scrutiny from regulators who say that Tesla falsely advertised the capabilities of its Autopilot and report by the National Highway Traffic Safety Administration also found that out of the 956 Tesla crashes the agency reviewed, 467 of those could be linked to Autopilot.

同社は、テスラがオートパイロットの機能を偽って宣伝しているとする規制当局からの監視の目を集めており、米国家道路交通安全局の報告書でも、同局が調査した956件のテスラの事故のうち、467件がオートパイロットと関連している可能性があることが判明している。

But reaching full autonomy is critical for Tesla, whose sky-high valuation is largely dependent on bringing robo-taxis to market, analysts say.

しかし、完全な自律性を達成することは、テスラにとって非常に重要である。テスラの評価額は非常に高く、ロボタクシーを市場に投入することに大きく依存しているとアナリストは言う。

The company reported lackluster results in its latest earnings report and has fallen behind other automakers working on autonomous vehicle technology.

同社は最新の決算報告で精彩を欠き、自律走行車技術に取り組む他の自動車メーカーに遅れをとっている。

These include Alphabet-owned Waymo, which is already operating fully autonomous vehicles in the U.S. cities, GM's Cruze and Amazon's Zoox.

これらには、アルファベット傘下のウェイモ、GMのクルーズ、アマゾンのZooxなどが含まれる。

In China, competitors include Didi and Baidu.

中国では、ディディ（Didi）やバイドゥ（Baidu）などが競合している。

テスラはDojoがそれを変えてくれることを期待している。

According to Musk, Dojo has been running tasks for Tesla since 2023.

マスクによれば、Dojoは2023年以来、テスラのタスクを実行している。

And since Dojo has a very specific task, to train Tesla's self-driving systems, the company decided that it's best to design its own chip called the D1.

Dojoはテスラの自動運転システムを訓練するという非常に特殊な任務を担っているため、同社はD1と呼ばれる独自のチップを設計するのが最善だと判断した。

This chip is manufactured in 7 nanometer technology.

このチップは7ナノメートル技術で製造されている。

It packs 50 billion transistors in a miserly 645 millimeter square.

わずか645ミリメートル四方に500億個のトランジスタを搭載している。

One thing you'll notice, 100 percent of the area out here is going towards machine learning training and bandwidth.

ひとつお気づきの点があるとすれば、このエリアの100％が機械学習のトレーニングと帯域幅に使われていることだ。

これは純粋な機械学習マシンだ。

For high-performance computing, it is very common to have supercomputers that have CPUs and GPUs.

ハイパフォーマンス・コンピューティングでは、CPUとGPUを搭載したスーパーコンピューターが一般的だ。

However, increasingly, AI supercomputers also contain specialized chips that are specially designed for AI workloads.

しかし、AIスーパーコンピュータには、AIワークロード用に特別に設計されたチップも搭載されるようになってきている。

One of the key things that came through when I was looking at D1 is latency.

D1を見ていて重要なことのひとつは、レイテンシーだ。

It's training on a video feed that's coming from cameras in cars.

車のカメラから送られてくる映像でトレーニングしているんだ。

So the big thing is kind of how do you move those big files around and how do you handle for latency?

だから大きな問題は、どうやって大きなファイルを移動させるか、そしてレイテンシーをどう処理するかということなんだ。

Aside from the D1, which is being manufactured by Taiwanese chip maker TSMC, Tesla is also designing the entire infrastructure of its supercomputer from the ground up.

台湾のチップメーカーTSMCが製造するD1以外にも、テスラはスーパーコンピューターのインフラ全体を一から設計している。

Designing a custom supercomputer gives them the opportunity to optimize the entire stack, right?

カスタム・スーパーコンピューターを設計することで、スタック全体を最適化する機会が得られるわけですよね？

Go from the algorithms and the hardware, make sure that they're perfectly in concert with each other.

アルゴリズムとハードウェアが完璧に一致していることを確認するんだ。

It's not just Tesla, but if you see a lot of the hyperscalers, the Googles of the world, the Metas, the Microsofts, the Amazons, they all have their own custom chips and systems designed for AI.

テスラだけでなく、多くのハイパースケーラー、世界のグーグル、メタ、マイクロソフト、アマゾンなどを見てみると、みなAIのために設計された独自のカスタムチップやシステムを持っている。

In the case of Dojo, the design looks something like this. 25 D1 chips make up what Tesla calls a training tile, with each tile containing its own hardware for cooling, data transfer and power and acting as a self-sufficient computer.

Dojoの場合、デザインは以下のようになる。25個のD1チップがテスラがトレーニング・タイルと呼ぶものを構成し、各タイルは冷却、データ転送、電源のための独自のハードウェアを含み、自給自足のコンピューターとして機能する。

Six tiles make up a tray and two trays make up a cabinet.

6枚のタイルで1つのトレイを構成し、2枚のトレイで1つのキャビネットを構成する。

Finally, 10 cabinets make up an exopod, which Tesla says is capable of 1.1 exaflops of compute.

最後に、10台のキャビネットがエキソポッドを構成し、テスラによれば1.1エクサフロップスの計算が可能だという。

To put that into context, one exaflop is equal to one quintillion calculations per second.

文脈を整理すると、1エクサフロップは1秒間に5億回の計算に相当する。

This means that if each person on the planet completed one calculation per second, it would still take over four years to do what an exascale computer can do in one second.

つまり、地球上の各人が1秒間に1回の計算を行ったとしても、エクサスケール・コンピューターが1秒でできることを行うには4年以上かかるということだ。

But there are other supercomputers certainly that are performing that ballpark as well.

しかし、その程度の性能を持つスーパーコンピューターは他にもある。

One of those supercomputers is located at the Department of Energy's Oak Ridge National Laboratory in Tennessee.

そのスーパーコンピューターのひとつが、テネシー州にあるエネルギー省のオークリッジ国立研究所にある。

The system, called Frontier, operates at 1.2 exaflops and has a theoretical peak performance of 2 exaflops.

フロンティアと呼ばれるこのシステムは、1.2エクサフロップスで動作し、理論上のピーク性能は2エクサフロップスである。

The supercomputer is being used to simulate proteins to help develop new drugs, model turbulence to improve the engine designs of airplanes and create large language models.

このスーパーコンピューターは、新薬開発に役立つタンパク質のシミュレーションや、航空機のエンジン設計を改善するための乱流モデル、大規模な言語モデルの作成などに使われている。

The next generation of zetascale supercomputers are already in development.

次世代のゼータスケール・スーパーコンピューターは、すでに開発が始まっている。

A zetaflop supercomputer has a computing capability equal to 1,000 exaflops.

ゼタフロップスのスーパーコンピューターは、1000エクサフロップスに相当する計算能力を持つ。

As for Dojo, Dickens says its utility could go beyond turning Teslas into autonomous vehicles.

Dojoについてディケンズは、その有用性はテスラを自律走行車に変えるだけにとどまらないと言う。

If you wanted to train a robot on how to dig a hole, how many Tesla cars have driven past somebody digging a hole on the side of the road?

もしロボットに穴掘りの訓練をさせようと思ったら、道端で誰かが穴を掘っている横を何台のテスラ車が通り過ぎただろうか？

And could you then point that at Optimus and say, hey, I've got hundreds of hours of how people dig holes.

そして、それをオプティマスに見せて、人がどうやって穴を掘るのか、何百時間も見てきたんだ。

I want to train you as a robot on how to dig holes.

穴の掘り方をロボットとして訓練したい。

So I think you've got to think wider of Tesla than just a car company.

だから、テスラを単なる自動車会社としてではなく、もっと広く考える必要があると思う。

字幕リスト動画再生

イーロン・マスクがテスラとxAIを強化するためにスーパーコンピュータに大きく賭ける理由 (Why Elon Musk Is Betting Big On Supercomputers To Boost Tesla And xAI)

massive

improve

infrastructure

capacity