Name: DeepSeek是在 "抄袭 "美国吗？它的出现对中美AI竞争的影响DeepSeek ｜ LLM ｜Open AI ｜中国 ｜美国 ｜人工智能竞争 ｜开源模型 20250126金融汪 (DeepSeek是在“抄袭”美国吗？它的出现对中美AI竞争的影响 DeepSeek ｜ LLM ｜Open AI ｜ 中国 ｜美国 ｜人工智能竞争 ｜开源模型 20250126金融汪)
Uploaded: 2025-01-29T01:04:11.000Z
Duration: 20 min 9 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

the AI race between China and the U.S. and what's at stake?

中国とアメリカのAI競争、その行方は？

動名詞

Okay so first of all China has a lot of disadvantages in competing with the U.S.

まず第一に、中国はアメリカと競争する上で多くの不利な点がある。

Number one is the fact that they don't get access to all the hardware that we have access to here.

第一に、彼らは私たちがここで利用できるすべてのハードウェアにアクセスできないという事実がある。

So they're kind of working with lower-end GPUs than us.

だから、彼らは我々より下位のGPUを使っているようなものだ。

It's almost like working with the previous generation GPUs crappily.

まるで前世代のGPUを粗末に扱っているようだ。

So and the fact that the bigger models tend to be more smarter naturally puts them at a disadvantage.

そのため、大型モデルの方がよりスマートである傾向があることは、当然、不利になる。

But the flip side of this is that necessity is the mother of invention.

しかしその裏返しとして、必要は発明の母なのだ。

Because they had to go figure out workarounds, they actually ended up building something a lot more efficient.

回避策を考えなければならなかったので、実際にはもっと効率的なものを作ることになった。

It's like saying, hey look you guys really got to get a top-notch model and I'm not going to give you resources.

まるで、君たちは本当に一流のモデルを手に入れなければならないのに、私は君たちにリソースを与えるつもりはない、と言っているようなものだ。

つまり、何かを見つけようということだよね？

Unless it's impossible, unless it's mathematically possible to prove that it's impossible to do so, you can always try to like come up with something more But that is likely to make them come up with a more efficient solution than America.

それが不可能でない限り、数学的に不可能であることを証明できない限り、あなたはいつでも、もっと何か思いつくようなことを試みることができる。 しかし、それはアメリカよりも効率的な解決策を思いつかせる可能性が高い。

And of course they've open sourced it so we can still adopt something like that here.

そしてもちろん、彼らはそれをオープンソース化している。

But that kind of talent they're building to do that will become an edge for them over time, right?

でも、そうやって築き上げた才能は、やがて彼らの強みになるだろう？

The leading open source model in America is Meta's Lama family.

アメリカでオープンソースを代表するモデルはメタのラマ・ファミリーだ。

It's kind of like a model that you can run on a computer.

コンピューター上で実行できるモデルのようなものだ。

But even though it got pretty close to GPT-4 and Asana at the time of its release, the model that was closest in quality was a giant 405B, not the 70B that you could run on your computer.

しかし、発売当時はGPT-4やアサナにかなり近づいたとはいえ、品質的に最も近いモデルは巨大な405Bであり、パソコンで動かせる70Bではなかった。

And so that was still not a small, cheap, fast, efficient, open source model that rivaled the most powerful closed models from Okinawa and Tropic.

それで、沖縄やトロピックの最もパワフルなクローズド・モデルに匹敵するような、小さくて、安くて、速くて、効率的なオープンソース・モデルにはまだならなかった。

And then these guys come out with like a crazy model that's like 10x cheaper in API pricing than GPT-40 and 15x cheaper than Sonnet, I believe.

そして、GPT-40よりもAPI価格が10倍安く、ソネットよりも15倍安いというクレイジーなモデルを発表した。

本当に速くて、1秒間に60トークン。

And pretty much equal or better in some benchmarks than worse than some others, but like roughly in that ballpark of 4OS quality.

また、いくつかのベンチマークでは同等かそれ以上だが、他のベンチマークでは劣っている。

And they did it all with like approximately just 2048H800 GPUs, which is actually equivalent to like somewhere around 1500 or 1500H100 GPUs.

そして、2048H800GPUのようなもので、これは1500または1500H100GPUに相当する。

That's like 20 to 30x lower than the amount of GPUs that GPT-4 is usually trained on.

これは、GPT-4が通常トレーニングするGPUの量よりも20倍から30倍ほど少ない。

And they did roughly $5 million in total compute budget.

そして、総計算予算はおよそ500万ドルだった。

They did it with so little money and such an amazing model.

彼らはわずかな資金と素晴らしいモデルでそれを成し遂げた。

And definitely it makes us all question like, okay, like if we have the equivalent of DOGE for like model training, this is an example of that, right?

DOGEに相当するようなモデルトレーニングがあるとしたら、これはその一例だよね？

効率というのは、あなたが得ているものだ。

So fraction of the price, fraction of the time, dumbed down GPUs essentially.

つまり、価格は数分の一、時間は数分の一、本質的にダブったGPUということだ。

What was your surprise when you understood what they had done?

彼らがしたことを理解したとき、あなたはどんな驚きを感じましたか？

So my surprise was that when I actually went through the technical paper, the amount of clever solutions they came up with.

だから私が驚いたのは、実際に技術論文に目を通したときに、彼らが考え出した巧妙な解決策の多さだった。

First of all, they trained a experts model.

まず、専門家モデルを訓練した。

There's a lot of like, the main reason people find it difficult to catch up with OpenAI, especially the MOE architecture, is that there's a lot of irregular loss spikes.

OpenAI、特にMOEアーキテクチャに追いつくのが難しいと思われる主な理由は、不規則な損失スパイクが多いことです。

So often like you've got to restart the training checkpoint again.

だから、トレーニングのチェックポイントをもう一度やり直さなければならないことがよくある。

And a lot of infrastructure needs to be built for that.

そのためには多くのインフラを整備する必要がある。

And they came up with very clever solutions to balance that without adding additional hacks.

そして彼らは、ハックを追加することなく、そのバランスを取るための非常に賢い解決策を考え出した。

And they also figured out 8-bit training, at least for some of the numerics.

そして、少なくともいくつかの数値演算については、8ビットのトレーニングも考え出した。

And they cleverly figured out which has to be in higher precision, which has to be in lower precision.

そして、どちらが高精度でどちらが低精度でなければならないかを巧妙に考え出した。

And to my knowledge, I think floating point 8 training is not that well understood.

私の知る限り、浮動小数点数8のトレーニングはそれほど理解されていないと思う。

Most of the training in America is still running.

アメリカでのトレーニングのほとんどはまだ続いている。

And maybe OpenAI and some people are trying to explore that, but it's pretty difficult to get it right.

オープンAIや何人かの人たちはそれを探求しようとしているかもしれないが、それをうまくやるのはかなり難しい。

So because necessities, I'm going to mention, because they don't have that much memory, that many GPUs, they figured out a lot of numerical stability stuff that makes their work.

つまり、必要なこと、これから述べるが、彼らはそれほど多くのメモリーやGPUを持っていないため、彼らの仕事を成り立たせる数値的な安定性を高めるために、多くのことを考え出したのだ。

And they claimed in the paper that the majority of the training was stable, which means they can always rerun those training runs again on more data or better data.

そして、彼らは論文の中で、トレーニングの大部分は安定していると主張している。つまり、より多くのデータやより優れたデータで、いつでもトレーニングの再実行が可能だということだ。

そして、60日間だけトレーニングした。

だから、かなりすごいことなんだ。

驚いたと言ってくれるのは嬉しい。

Usually the wisdom, or I would say the myth, is that Chinese are just good at copying.

通常、知恵というか神話というか、中国人はただコピーするのがうまいだけだということになっている。

So if we stop writing research papers in America, if we stop describing the details of our infrastructure, our architecture, and stop open sourcing, they're not going to be able to catch up.

だから、もしアメリカで研究論文を書くのをやめたり、インフラやアーキテクチャの詳細を説明するのをやめたり、オープンソースをやめたりしたら、追いつくことはできないだろう。

But the reality is, some of the details in DeepSea 3 are so good that I wouldn't be surprised if Meta took a look at it and incorporated some of that in Llamas 4.

しかし現実には、『ディープシー3』のディテールのいくつかは非常に優れているので、メタがそれを参考にして『ラマス4』にその一部を取り入れたとしても私は驚かない。

必ずしもコピーとは言わない。

すべては科学とエンジニアリングの共有だ。

しかし、重要なのは変わりつつあるということだ。

中国が模倣しているわけではない。

We don't know exactly the data that it was trained on, even though it's open source.

オープンソースとはいえ、どのようなデータでトレーニングされたのかは正確にはわからない。

We know some of the ways and things it was trained on, but not everything.

私たちは、それが訓練された方法や事柄のいくつかを知っているが、すべてではない。

And there's this idea that it was trained on public chat GPT outputs, which would mean it just was copied.

パブリックチャットのGPT出力でトレーニングされたという考え方もあるが、それは単にコピーされただけということになる。

でも、あなたはそれを超えていると言っている。

Yeah, look, they've trained it on 14.8 trillion tokens.

14兆8,000億トークンでトレーニングしたんだ。

インターネットにはたくさんのチャットGPTがある。

If you actually go to any LinkedIn post or X post now, most of the comments are written by AI.

今、LinkedInの投稿やXの投稿を実際に見てみると、コメントのほとんどがAIによって書かれている。

みんなただ書こうとしているだけなんだ。

Even with an X, there's a Grok tweet enhancer.

XでもGrokのツイートエンハンサーがある。

あるいは、リンクトインにはAIエンハンサーがある。

Or in Google Docs and Word, there are AI tools to rewrite your stuff.

グーグルドキュメントやワードには、リライトするためのAIツールがある。

So if you do something there and copy-paste it somewhere on the internet, it's naturally going to have some elements of a chat GPT-like training.

だから、そこで何かをやって、それをネット上のどこかにコピーペーストすれば、当然、チャットGPT的なトレーニングの要素も出てくる。

And there's a lot of people who don't even bother to strip away that I'm a language model part.

そして、私が言語モデルの一部であることを、わざわざ取り除こうともしない人たちがたくさんいる。

だから、どこかに貼り付けるだけだ。

これをコントロールするのは非常に難しい。

XAIもこのことについて話していたと思う。

So I wouldn't disregard their technical accomplishment just because for some prompts, like, who are you?

だから、「あなたは誰ですか？

Or which model are you in response to that?

あるいは、それに対してあなたはどのモデルですか？

私の考えでは、そんなことはどうでもいいことだ。

For a long time, we thought, I don't know if you agreed with us, China was behind in AI.

長い間、私たちは中国がAIで遅れていると考えていた。

これはそのレースに何をもたらすのか？

Can we say that China is catching up or hasn't caught up?

中国が追いついていると言えるのか、追いついていないと言えるのか。

I mean, if we say the meta is catching up to open AI and entropic, if you make that claim, then the same claim can be made for China catching up to America.

つまり、メタがオープンAIやエントロピーに追いつきつつあると言うのであれば、中国がアメリカに追いつきつつあると同じ主張ができる。

A lot of papers from China that have tried to replicate O1.

O1を再現しようとした中国からの多くの論文がある。

In fact, I saw more papers from China after O1 announcement that tried to replicate it than from America.

実際、O1発表後、私はアメリカよりも中国からの論文を多く目にした。

And the amount of compute DeepSeq has access to is roughly similar to what PhD students in the US have access to.

また、DeepSeqがアクセスできる計算量は、米国の博士課程の学生がアクセスできる量とほぼ同じである。

This is not meant to criticize others, even for ourselves.

これは他人を批判するためではなく、自分自身のためでもない。

For Perplexity, we decided not to train models because we thought it's a very expensive thing.

パープレキシティでは、モデルのトレーニングは非常にコストがかかると考え、行わないことにした。

And we thought there's no way to catch up with the rest.

そして、後続に追いつく方法はないと考えていた。

Will you incorporate DeepSeq into Perplexity?

DeepSeqをPerplexityに組み込む予定はありますか？

I assume they have an API and they have open source of AI so we can host it ourselves too.

彼らはAPIを持っていて、AIのオープンソースを持っていると思う。

And it's good to try to start using that because it actually allows us to do a lot of the things at lower cost.

そして、実際に低コストで多くのことができるようになるのだから、それを使い始めるのはいいことだ。

But what I'm kind of thinking is beyond that, it's just like, okay, these guys actually could train such a great model with a good team.

でも、私が考えているのは、その先にあるもの、つまり、この人たちは実際に、いいチームと一緒にこんな素晴らしいモデルをトレーニングできるんだ、ということなんだ。

And there's no excuse anymore for companies in the US, including ourselves, to not try to do something like that.

そして、私たち自身を含め、アメリカの企業がそのようなことをしようとしない言い訳はもうできない。

You hear a lot in public from a lot of thought leaders and generative AI, on the research side, on the entrepreneurial side.

多くのオピニオン・リーダーたちから、研究面でも起業家面でも、ジェネレーティブAIについて多くの話を聞くことができる。

Elon Musk and others say that China can't catch up.

イーロン・マスクらは、中国は追いつけないと言う。

DeepSeek是在 "抄袭 "美国吗？它的出现对中美AI竞争的影响DeepSeek ｜ LLM ｜Open AI ｜中国 ｜美国 ｜人工智能竞争 ｜开源模型 20250126金融汪 (DeepSeek是在“抄袭”美国吗？它的出现对中美AI竞争的影响      DeepSeek ｜ LLM ｜Open AI ｜ 中国 ｜美国 ｜人工智能竞争 ｜开源模型 20250126金融汪)

字幕リスト動画再生

stuff

essentially

extremely

figure