Okay so first of all China has a lot of disadvantages in competing with the U.S.

まず第一に、中国はアメリカと競争する上で多くの不利な点がある。

Number one is the fact that they don't get access to all the hardware that we have access to here.

第一に、彼らは私たちがここで利用できるすべてのハードウェアにアクセスできないという事実がある。

So they're kind of working with lower-end GPUs than us.

だから、彼らは我々より下位のGPUを使っているようなものだ。

It's almost like working with the previous generation GPUs crappily.

まるで前世代のGPUを粗末に扱っているようだ。

So and the fact that the bigger models tend to be more smarter naturally puts them at a disadvantage.

そのため、大型モデルの方がよりスマートである傾向があることは、当然、不利になる。

But the flip side of this is that necessity is the mother of invention.

しかしその裏返しとして、必要は発明の母なのだ。

Because they had to go figure out workarounds, they actually ended up building something a lot more efficient.

回避策を考えなければならなかったので、実際にはもっと効率的なものを作ることになった。

It's like saying, hey look you guys really got to get a top-notch model and I'm not going to give you resources.

まるで、君たちは本当に一流のモデルを手に入れなければならないのに、私は君たちにリソースを与えるつもりはない、と言っているようなものだ。

I mean figure out something, right?

つまり、何かを見つけようということだよね？

Unless it's impossible, unless it's mathematically possible to prove that it's impossible to do so, you can always try to like come up with something more But that is likely to make them come up with a more efficient solution than America.

それが不可能でない限り、数学的に不可能であることを証明できない限り、あなたはいつでも、もっと何か思いつくようなことを試みることができる。 しかし、それはアメリカよりも効率的な解決策を思いつかせる可能性が高い。

And of course they've open sourced it so we can still adopt something like that here.

そしてもちろん、彼らはそれをオープンソース化している。

But that kind of talent they're building to do that will become an edge for them over time, right?

でも、そうやって築き上げた才能は、やがて彼らの強みになるだろう？

The leading open source model in America is Meta's Lama family.

アメリカでオープンソースを代表するモデルはメタのラマ・ファミリーだ。

It's really good.

本当においしいよ。

It's kind of like a model that you can run on a computer.

コンピューター上で実行できるモデルのようなものだ。

But even though it got pretty close to GPT-4 and Asana at the time of its release, the model that was closest in quality was a giant 405B, not the 70B that you could run on your computer.

しかし、発売当時はGPT-4やアサナにかなり近づいたとはいえ、品質的に最も近いモデルは巨大な405Bであり、パソコンで動かせる70Bではなかった。

And so that was still not a small, cheap, fast, efficient, open source model that rivaled the most powerful closed models from Okinawa and Tropic.

それで、沖縄やトロピックの最もパワフルなクローズド・モデルに匹敵するような、小さくて、安くて、速くて、効率的なオープンソース・モデルにはまだならなかった。

Nothing from America.

アメリカからは何もない。

Nothing from Mistral either.

ミストラルからも何もない。

And then these guys come out with like a crazy model that's like 10x cheaper in API pricing than GPT-40 and 15x cheaper than Sonnet, I believe.

そして、GPT-40よりもAPI価格が10倍安く、ソネットよりも15倍安いというクレイジーなモデルを発表した。

Really fast, 60 tokens per second.

本当に速くて、1秒間に60トークン。

And pretty much equal or better in some benchmarks than worse than some others, but like roughly in that ballpark of 4OS quality.

また、いくつかのベンチマークでは同等かそれ以上だが、他のベンチマークでは劣っている。

And they did it all with like approximately just 2048H800 GPUs, which is actually equivalent to like somewhere around 1500 or 1500H100 GPUs.

そして、2048H800GPUのようなもので、これは1500または1500H100GPUに相当する。

That's like 20 to 30x lower than the amount of GPUs that GPT-4 is usually trained on.

これは、GPT-4が通常トレーニングするGPUの量よりも20倍から30倍ほど少ない。

And they did roughly $5 million in total compute budget.

そして、総計算予算はおよそ500万ドルだった。

They did it with so little money and such an amazing model.

彼らはわずかな資金と素晴らしいモデルでそれを成し遂げた。

Gave it away for free.

タダで配ったんだ。

Wrote a technical paper.

技術論文を執筆。

And definitely it makes us all question like, okay, like if we have the equivalent of DOGE for like model training, this is an example of that, right?

DOGEに相当するようなモデルトレーニングがあるとしたら、これはその一例だよね？

Right.

そうだね。

Efficiency is what you're getting at.

効率というのは、あなたが得ているものだ。

So fraction of the price, fraction of the time, dumbed down GPUs essentially.

つまり、価格は数分の一、時間は数分の一、本質的にダブったGPUということだ。

What was your surprise when you understood what they had done?

彼らがしたことを理解したとき、あなたはどんな驚きを感じましたか？

So my surprise was that when I actually went through the technical paper, the amount of clever solutions they came up with.

だから私が驚いたのは、実際に技術論文に目を通したときに、彼らが考え出した巧妙な解決策の多さだった。

First of all, they trained a experts model.

まず、専門家モデルを訓練した。

It's not that easy to train.

そう簡単には鍛えられない。

There's a lot of like, the main reason people find it difficult to catch up with OpenAI, especially the MOE architecture, is that there's a lot of irregular loss spikes.

OpenAI、特にMOEアーキテクチャに追いつくのが難しいと思われる主な理由は、不規則な損失スパイクが多いことです。

The numerics are not stable.

数値は安定していない。

So often like you've got to restart the training checkpoint again.

だから、トレーニングのチェックポイントをもう一度やり直さなければならないことがよくある。

And a lot of infrastructure needs to be built for that.

そのためには多くのインフラを整備する必要がある。

And they came up with very clever solutions to balance that without adding additional hacks.

そして彼らは、ハックを追加することなく、そのバランスを取るための非常に賢い解決策を考え出した。

And they also figured out 8-bit training, at least for some of the numerics.

そして、少なくともいくつかの数値演算については、8ビットのトレーニングも考え出した。

And they cleverly figured out which has to be in higher precision, which has to be in lower precision.

そして、どちらが高精度でどちらが低精度でなければならないかを巧妙に考え出した。

And to my knowledge, I think floating point 8 training is not that well understood.

私の知る限り、浮動小数点数8のトレーニングはそれほど理解されていないと思う。

Most of the training in America is still running.

アメリカでのトレーニングのほとんどはまだ続いている。

And maybe OpenAI and some people are trying to explore that, but it's pretty difficult to get it right.

オープンAIや何人かの人たちはそれを探求しようとしているかもしれないが、それをうまくやるのはかなり難しい。

So because necessities, I'm going to mention, because they don't have that much memory, that many GPUs, they figured out a lot of numerical stability stuff that makes their work.

つまり、必要なこと、これから述べるが、彼らはそれほど多くのメモリーやGPUを持っていないため、彼らの仕事を成り立たせる数値的な安定性を高めるために、多くのことを考え出したのだ。

And they claimed in the paper that the majority of the training was stable, which means they can always rerun those training runs again on more data or better data.

そして、彼らは論文の中で、トレーニングの大部分は安定していると主張している。つまり、より多くのデータやより優れたデータで、いつでもトレーニングの再実行が可能だということだ。

And then it only trained for 60 days.

そして、60日間だけトレーニングした。

So it's pretty amazing.

だから、かなりすごいことなんだ。

It's nice to say you were surprised.

驚いたと言ってくれるのは嬉しい。

So I was definitely surprised.

だから間違いなく驚いた。

Usually the wisdom, or I would say the myth, is that Chinese are just good at copying.

通常、知恵というか神話というか、中国人はただコピーするのがうまいだけだということになっている。

So if we stop writing research papers in America, if we stop describing the details of our infrastructure, our architecture, and stop open sourcing, they're not going to be able to catch up.

だから、もしアメリカで研究論文を書くのをやめたり、インフラやアーキテクチャの詳細を説明するのをやめたり、オープンソースをやめたりしたら、追いつくことはできないだろう。

But the reality is, some of the details in DeepSea 3 are so good that I wouldn't be surprised if Meta took a look at it and incorporated some of that in Llamas 4.

しかし現実には、『ディープシー3』のディテールのいくつかは非常に優れているので、メタがそれを参考にして『ラマス4』にその一部を取り入れたとしても私は驚かない。

I wouldn't necessarily say copy.

必ずしもコピーとは言わない。

It's all sharing science, engineering.

すべては科学とエンジニアリングの共有だ。

But the point is, it's changing.

しかし、重要なのは変わりつつあるということだ。

It's not like China is copycat.

中国が模倣しているわけではない。

They're also innovating.

彼らもまた革新的だ。

We don't know exactly the data that it was trained on, even though it's open source.

オープンソースとはいえ、どのようなデータでトレーニングされたのかは正確にはわからない。

We know some of the ways and things it was trained on, but not everything.

私たちは、それが訓練された方法や事柄のいくつかを知っているが、すべてではない。

And there's this idea that it was trained on public chat GPT outputs, which would mean it just was copied.

パブリックチャットのGPT出力でトレーニングされたという考え方もあるが、それは単にコピーされただけということになる。

But you're saying it goes beyond that.

でも、あなたはそれを超えていると言っている。

There's real innovation.

真の革新がある。

Yeah, look, they've trained it on 14.8 trillion tokens.

14兆8,000億トークンでトレーニングしたんだ。

The internet has so much chat GPT.

インターネットにはたくさんのチャットGPTがある。

If you actually go to any LinkedIn post or X post now, most of the comments are written by AI.

今、LinkedInの投稿やXの投稿を実際に見てみると、コメントのほとんどがAIによって書かれている。

You can just see it.

見ればわかるだろう。

People are just trying to write.

みんなただ書こうとしているだけなんだ。

Even with an X, there's a Grok tweet enhancer.

XでもGrokのツイートエンハンサーがある。

Or in LinkedIn, there's an AI enhancer.

あるいは、リンクトインにはAIエンハンサーがある。

Or in Google Docs and Word, there are AI tools to rewrite your stuff.

グーグルドキュメントやワードには、リライトするためのAIツールがある。

So if you do something there and copy-paste it somewhere on the internet, it's naturally going to have some elements of a chat GPT-like training.

だから、そこで何かをやって、それをネット上のどこかにコピーペーストすれば、当然、チャットGPT的なトレーニングの要素も出てくる。

And there's a lot of people who don't even bother to strip away that I'm a language model part.

そして、私が言語モデルの一部であることを、わざわざ取り除こうともしない人たちがたくさんいる。

So they just paste it somewhere.

だから、どこかに貼り付けるだけだ。

It's very difficult to control for this.

これをコントロールするのは非常に難しい。

I think XAI has spoken about this too.

XAIもこのことについて話していたと思う。

So I wouldn't disregard their technical accomplishment just because for some prompts, like, who are you?

だから、「あなたは誰ですか？

Or which model are you in response to that?

あるいは、それに対してあなたはどのモデルですか？

It doesn't even matter in my opinion.

私の考えでは、そんなことはどうでもいいことだ。

For a long time, we thought, I don't know if you agreed with us, China was behind in AI.

長い間、私たちは中国がAIで遅れていると考えていた。

What does this do to that race?

これはそのレースに何をもたらすのか？

Can we say that China is catching up or hasn't caught up?

中国が追いついていると言えるのか、追いついていないと言えるのか。

I mean, if we say the meta is catching up to open AI and entropic, if you make that claim, then the same claim can be made for China catching up to America.

つまり、メタがオープンAIやエントロピーに追いつきつつあると言うのであれば、中国がアメリカに追いつきつつあると同じ主張ができる。

A lot of papers from China that have tried to replicate O1.

O1を再現しようとした中国からの多くの論文がある。

In fact, I saw more papers from China after O1 announcement that tried to replicate it than from America.

実際、O1発表後、私はアメリカよりも中国からの論文を多く目にした。

And the amount of compute DeepSeq has access to is roughly similar to what PhD students in the US have access to.

また、DeepSeqがアクセスできる計算量は、米国の博士課程の学生がアクセスできる量とほぼ同じである。

This is not meant to criticize others, even for ourselves.

これは他人を批判するためではなく、自分自身のためでもない。

For Perplexity, we decided not to train models because we thought it's a very expensive thing.

パープレキシティでは、モデルのトレーニングは非常にコストがかかると考え、行わないことにした。

And we thought there's no way to catch up with the rest.

そして、後続に追いつく方法はないと考えていた。

Will you incorporate DeepSeq into Perplexity?

DeepSeqをPerplexityに組み込む予定はありますか？

We already are beginning to use it.

すでに使い始めている。

I assume they have an API and they have open source of AI so we can host it ourselves too.

彼らはAPIを持っていて、AIのオープンソースを持っていると思う。

And it's good to try to start using that because it actually allows us to do a lot of the things at lower cost.

そして、実際に低コストで多くのことができるようになるのだから、それを使い始めるのはいいことだ。

But what I'm kind of thinking is beyond that, it's just like, okay, these guys actually could train such a great model with a good team.

でも、私が考えているのは、その先にあるもの、つまり、この人たちは実際に、いいチームと一緒にこんな素晴らしいモデルをトレーニングできるんだ、ということなんだ。

And there's no excuse anymore for companies in the US, including ourselves, to not try to do something like that.

そして、私たち自身を含め、アメリカの企業がそのようなことをしようとしない言い訳はもうできない。

You hear a lot in public from a lot of thought leaders and generative AI, on the research side, on the entrepreneurial side.

多くのオピニオン・リーダーたちから、研究面でも起業家面でも、ジェネレーティブAIについて多くの話を聞くことができる。

Elon Musk and others say that China can't catch up.

イーロン・マスクらは、中国は追いつけないと言う。

The stakes are too big, the geopolitical stakes.

地政学的な利害関係が大きすぎる。

Whoever dominates AI is going to dominate the economy, dominate the world.

AIを支配する者が経済を支配し、世界を支配する。

It's been talked about in those massive terms.

そういう重厚な言葉で語られてきた。

Are you worried about what China proved it was able to do?

中国が証明したことを心配しているのか？

Firstly, I don't know if Elon ever said China can't catch up.

まず第一に、イーロンは中国が追いつくことができないと言ったことがあるのだろうか。

I'm not aware of that.

そんなことは知らない。

Just the threat of China.

中国の脅威だけだ。

He's only identified the threat of letting China.

彼は中国を許すことの脅威を認識しただけだ。

Sam Altman has said similar things.

サム・アルトマンも似たようなことを言っている。

We can't let China win.

中国に勝たせるわけにはいかない。

I think you've got to decouple what someone like Sam says to what is in his self interest.

サムのような人物の言うことと、彼の自己利益とは切り離すべきだと思う。

My point is, whatever you did to not let them catch up didn't even matter.

私が言いたいのは、彼らに追いつかせないためにあなたが何をしたかは、問題ですらなかったということだ。

They ended up catching up anyway.

結局、2人は追いついた。

Necessity is the mother of invention, like you said.

あなたが言ったように、必要は発明の母だ。

Exactly.

その通りだ。

What's more dangerous than trying to do all the things to not let them catch up?

追いつかれないようにあらゆることをやろうとする以上に危険なことがあるだろうか？

What's more dangerous is they have the best open source model, and all the American developers are building on that.

さらに危険なのは、彼らが最高のオープンソースモデルを持っていて、アメリカのすべての開発者がそれをベースにしていることだ。

That's more dangerous, because then they get to own the mindshare, the ecosystem, the entire American AI ecosystem.

そうなれば、彼らはマインドシェアやエコシステム、アメリカのAIエコシステム全体を所有することになるからだ。

In general, it's known that once open source is caught up or improved over closed source software, all developers migrate to that.

一般的に、オープンソースがクローズドソースソフトウェアに追いついたり、改善されたりすると、すべての開発者がそちらに移行することが知られている。

It's historically known.

歴史的に知られていることだ。

When LLAMA was being built and becoming more widely used, there was this question, should we trust Zuckerberg?

LLAMAが構築され、広く使われるようになったとき、ザッカーバーグを信用すべきかという疑問があった。

But now the question is, should we trust China?

しかし、今問われているのは、私たちは中国を信頼すべきなのか、ということだ。

Should we trust open source?

オープンソースを信頼すべきか？

It's not about who is in Zuckerberg.

ザッカーバーグの中に誰がいるかということではない。

Does it matter then if it's Chinese, if it's open source?

それなら、それが中国製であろうと、オープンソースであろうと関係ないのだろうか？

It doesn't matter in the sense that you still have full control.

あなたが完全にコントロールできるという意味では問題ない。

You run it as your own weights on your own computer.

自分のコンピューターで自分のウェイトとして実行するのだ。

You are in charge of the model.

あなたはモデルを担当している。

It's not a great look for our own talent to rely on software built by others.

他人が作ったソフトウェアに依存するのは、自分たちの才能にとってあまりいいことではない。

There's always a point where open source can stop being open source too.

オープンソースもオープンソースでなくなる可能性が常にある。

The licenses are very favorable today, but over time, they can always change the license.

今のライセンスは非常に有利だが、時間が経てばいつでも変更できる。

It's important that we actually have people here in America building, and that's why Meta is so important.

このアメリカで実際に建設している人たちがいることが重要で、だからこそメタが重要なんだ。

I still think Meta will build a better model than DeepSecret 3 and open source, and what they call LLAMA 4 or 3.something.

私は、メタがDeepSecret 3やオープンソース、そして彼らがLLAMA 4や3.somethingと呼ぶものよりも優れたモデルを構築すると今でも思っている。

It doesn't matter.

そんなことはどうでもいい。

What is more key is that we don't try to focus all our energy on banning them, stopping them, and just try to out-compete and win.

さらに重要なのは、彼らを禁止したり阻止したりすることに全エネルギーを注ごうとせず、ただ競争して勝とうとすることだ。

That's just the American way of doing things.

それがアメリカのやり方なんだ。

Just be better.

ただ、もっと良くなる。

It feels like we hear a lot more about these Chinese companies who are developing in a similar way, a lot more efficiently, a lot more cost-effectively, right?

同じような方法で、より効率的に、より費用対効果の高い開発を行っている中国企業について、私たちはより多く耳にするようになったように感じますね。

Again, it's hard to fake scarcity, right?

繰り返すが、希少性を偽るのは難しいだろう？

If you raise $10 billion and you are decided to spend 80% of it on a computer cluster, it's hard for you to come up with the exact same solution that $5 million would do, and there's no need to berate those who are putting more money.

もしあなたが100億ドルを調達し、その80％をコンピューター・クラスターに費やすと決めたとしたら、500万ドルでできるのとまったく同じ解決策を思いつくのは難しい。

They're trying to do it as fast as they can.

彼らはできる限り早くやろうとしている。

When we say open source, there are so many different versions.

オープンソースと言っても、実にさまざまなバージョンがある。

Some people criticize Meta for not publishing everything, and even DeepSpeak itself isn't totally transparent.

メタはすべてを公開していないと批判する人もいるし、ディープスピーク自体も完全な透明性を保っているわけではない。

Sure.

もちろんだ。

You can go to the limits of open source and say, I should exactly be able to replicate your training run, but first of all, how many people even have the resources to do that?

オープンソースの限界に挑戦して、あなたのトレーニングランを正確に再現できるはずだと言うことはできる。

I think the amount of detail they've shared in the technical report, actually Meta did that too, by the way.

テクニカルレポートで共有された詳細の量は、実はメタもそうだったと思う。

Meta's Lama 3.3 technical report is incredibly detailed and very great for science.

メタのラマ3.3のテクニカルレポートは信じられないほど詳細で、科学的に非常に素晴らしい。

The amount of detailed data these people are sharing is already a lot more than what the other companies are doing right now.

これらの人々が共有している詳細なデータの量は、すでに他の企業が今やっていることよりもずっと多い。

When you think about how much it costs DeepSpeak to do this, less than $6 million, think about what OpenAI has spent to develop GPT models.

ディープスピークがこれを行うのにかかる費用が600万ドル以下であることを考えると、オープンAIがGPTモデルを開発するのに費やした費用を考えてみてほしい。

What does that mean for the closed source model, ecosystem trajectory, momentum?

クローズドソースモデル、エコシステムの軌跡、勢いはどうなるのか？

What does it mean for OpenAI?

OpenAIにとってそれは何を意味するのか？

It's very clear that we'll have an open source version of 4.0, or even better than that, and much cheaper than that, open source, completely in this year.

今年中に4.0のオープンソース版、あるいはそれよりももっと優れた、もっと安価なオープンソース版が完全に完成することははっきりしている。

Made by OpenAI?

OpenAI製？

Probably not.

おそらく無理だろう。

Most likely not.

そうでない可能性が高い。

I don't think they care if it's not made by them.

彼らは自分たちが作ったものでなくても気にしないと思う。

I think they've already moved to a new paradigm called the O1 family of models.

すでにO1ファミリーと呼ばれる新しいパラダイムに移行していると思う。

Ilya Sutskiy came and said, pre-training is a wall.

イリヤ・スツキーが来て、プレトレーニングは壁だと言った。

He didn't exactly use the word, but he clearly said the age of pre-training is a wall.

彼は正確にはその言葉を使わなかったが、プレトレーニングの年齢が壁だとはっきり言った。

Many people have said that.

多くの人がそう言っている。

That doesn't mean scaling is a wall.

だからといってスケーリングが壁になるわけではない。

I think we're scaling on different dimensions now.

今、私たちは違う次元でスケールアップしていると思う。

The amount of time the model spends thinking at this time, reinforcement learning, trying to make the model, if it doesn't know what to do for a new prompt, it'll go and reason and collect data and interact with the world, use a bunch of tools.

この時、モデルが考えるのに費やす時間、強化学習、モデルを作ろうとする時間、新しいプロンプトに対して何をすべきかわからなければ、推論し、データを収集し、世界と対話し、たくさんのツールを使う。

I think that's where things are headed.

私は、物事はそこに向かっていると思う。

I feel like OpenAI is more focused on that right now.

今はOpenAIの方がそちらに重点を置いているように感じる。

Instead of just a bigger, better model of reasoning capacity.

ただ推理能力を大きくしただけの、より優れたモデルではなく。

But didn't you say that DeepSeek is likely to turn their attention to reasoning?

しかし、ディープシークが推論に目を向ける可能性が高いとは言わなかったか？

A hundred percent.

100パーセントだ。

I think they will.

そうなると思うよ。

That's why I'm pretty excited about what they'll produce next.

だから、彼らが次に何を作ってくれるのか、かなり期待している。

I guess my question is, what's OpenAI's moat now?

私の質問は、OpenAIの堀は今どうなっているのか、ということだ。

I still think that no one else has produced a system similar to the O1 yet, exactly.

正確には、まだ誰もO1と同じようなシステムを作っていないと思う。

I know that there's debates about whether O1 is actually worth it.

O1が本当に価値があるのかという議論があるのは知っている。

Maybe a few prompts, it's really better.

たぶん、いくつかのプロンプトがあった方がいい。

But most of the time, it's not producing any differentiated output from Sonnet.

しかし、ほとんどの場合、ソネットと差別化されたアウトプットは出ていない。

But at least the results they showed in O3 where they had competitive coding performance, almost like an AI software engineer level.

しかし、少なくともO3で彼らが示した結果は、AIソフトウェアエンジニアレベルに近い、競争力のあるコーディング能力を持っていた。