If you're accepted, you'll receive $500,000 in investment, plus access to the best startup community in the world.

合格すれば、50万ドルの投資と、世界最高のスタートアップ・コミュニティへのアクセスが提供される。

So apply now and come build the future with us.

今すぐ応募して、私たちと一緒に未来を築きましょう。

If you ask people what AGI was, they would say it's a model that you can actually interact with.

AGIとは何かと聞けば、実際に対話できるモデルだと答えるだろう。

It passes the Turing test.

チューリング・テストに合格している。

It can look at things.

物事を見ることができる。

It can write code.

コードを書くことができる。

It can even draw an image for you.

イメージを描くこともできる。

Way there.

そこまでの道のり

Yeah.

そうだね。

And like we've had this for years.

もう何年もこうしているようなものだ。

And if you said, okay, well, what happens when you get all those capabilities?

そして、もしそうだとしたら、その能力をすべて手に入れたらどうなる？

Say, well, everybody's out of a job and game over for humanity.

みんな職を失い、人類はゲームオーバーだ。

And none of that is happening.

そして、そのどれも実現していない。

I think in the big picture, we're reaching that bottleneck for pre-training and data.

大局的に見れば、事前トレーニングとデータのボトルネックに達していると思う。

But now we have this new mechanism with reasoning and test time compute.

しかし今、私たちは推論とテスト時間の計算という新しいメカニズムを手に入れた。

What we're going to see out of reasoning is that it's really going to unlock the possibility of agents to do actions on your behalf, which has sort of always been possible, but it's just never been quite good enough.

推論から見えてくるのは、あなたの代わりにエージェントが行動する可能性を解き放つということだ。

You really need a lot of reliability.

あなたは本当に多くの信頼性を必要としている。

I think that is now in sight.

それが見えてきたと思う。

Hey guys, we have a real treat today.

やあ、みんな、今日はとっておきのプレゼントがあるんだ。

Bob McGrew, formerly chief research officer at OpenAI.

元OpenAIのチーフ・リサーチ・オフィサー、ボブ・マックグルー。

You were a part of building a lot of the research team.

あなたは多くの研究チームを作る一端を担った。

What was that like early at OpenAI?

OpenAIの初期はどんな感じでしたか？

The really interesting thing about OpenAI is that I did not originally intend to go to a research lab.

OpenAIについて本当に興味深いのは、私はもともと研究所に行くつもりはなかったということだ。

When I left Palantir, I wanted to start a company.

パランティアを辞めたとき、私は会社を立ち上げたかった。

I had a thesis that robotics would be the first real business that was built out of deep learning.

私は、ロボット工学がディープラーニングから構築される最初の実際のビジネスになるだろうという論文を持っていた。

This was back in 2015.

これは2015年のことだった。

And I talked my way into a friend's nonprofit.

そして、友人の非営利団体に入るように説得した。

I never had a badge, but I would go in, he'd open the door for me.

バッジは持っていなかったが、中に入ると彼がドアを開けてくれた。

And I learned deep learning by teaching a robot how to play checkers from vision.

そして私は、ロボットに視覚からチェッカーの遊び方を教えることで、ディープラーニングを学んだ。

And in the process of doing this, I learned a lot about robotics.

そしてその過程で、私はロボット工学について多くを学んだ。

And I learned that robotics was definitely not the right startup to start in 2015 or 2016.

そして私は、ロボット工学は2015年や2016年に始めるべきスタートアップではないことを学んだ。

I ended up going to OpenAI basically because it was a place full of very smart people and it had big ambitions.

私がOpenAIに行くことになったのは、基本的にとても頭のいい人たちが集まっていて、大きな野心を持っている場所だったからだ。

It was a place where I could really learn.

本当に学べる場所だった。

I had all this management experience from Palantir, but it was just a place for me to really become an expert in deep learning.

私はパランティアでマネジメントの経験を積んだが、それはディープラーニングのエキスパートになるための場所だった。

And from there, figure out what it could actually be used and applied for.

そしてそこから、それが実際に何に使われ、応用されうるかを見つけ出す。

What were some of the earliest things that you remember working on?

最初に取り組んだ仕事にはどんなものがありましたか？

And how did that play into what everyone knows OpenAI to be now?

そして、それが現在のOpenAIのあり方にどのように影響しているのでしょうか？

Yeah.

そうだね。

When OpenAI started, the goal was always to build AGI.

オープンAIがスタートしたとき、目標は常にAGIを構築することだった。

But the theory early on was that we would build AGI by doing a lot of research and writing a lot of papers.

しかし、初期の段階では、多くの研究を行い、多くの論文を書くことでAGIを構築するという理論だった。

And we knew that this was a bad theory.

そして、それが間違った理論であることもわかっていた。

I think for a lot of the early people who were startup people, Sam, Greg, myself, it felt painful and a little academic.

サム、グレッグ、そして私自身、スタートアップだった初期の人たちの多くにとって、それは苦痛であり、少しアカデミックなものだったと思う。

But at the same time, it was what we could do at the time.

でも同時に、それが当時の僕らにできることだった。

And so some of the early projects, I worked on a robotics project where we took a robot hand, a humanoid robot hand, and we taught it to solve Rubik's Cube.

初期のプロジェクトでは、ロボットハンド（人型ロボットハンド）を使ってルービックキューブを解かせるというロボット工学のプロジェクトに携わりました。

The idea in doing that was that if we could make the environments complicated enough, the artificial intelligence would be able to generalize out of the narrow domain it was taught and learn something more complicated, which was one of the ideas that later we see coming back with LLMs.

環境を十分に複雑にすることができれば、人工知能は教えられた狭い領域から汎化して、より複雑なことを学習できるようになるだろうというのがその考え方だった。

The other really early big project was solving Dota 2.

もうひとつの本当に初期の大きなプロジェクトは、Dota 2を解決することだった。

So there's a long history of solving games as a path towards building better AI, from Othello to Go.

オセロから囲碁に至るまで、より優れたAIを構築するための道筋としてゲームを解いてきた長い歴史があるわけだ。

And after beating Go, the next hardest set of games are actually video games.

囲碁の次に難しいのは、実はビデオゲームだ。

They're not very classy, but they're a lot of fun.

あまり上品ではないが、とても楽しい。

And I can assure you that mathematically, they were harder.

そして、数学的にはもっと難しかったと断言できる。

And so DeepMind went after StarCraft, OpenAI went after Dota 2.

そしてディープマインドはスタークラフトを、オープンAIはDota 2を狙った。

And there was real insight that was generated there, which was that it really strengthened our belief that scale was the path to improving artificial intelligence.

そして、そこで生まれた真の洞察があった。それは、スケールこそが人工知能を向上させる道であるという私たちの信念を、より強固なものにしたということだ。

That with Dota 2, the secret idea was that we could take huge amounts of experience and feed it into a neural network, and that the neural network would actually learn and generalize from that.

Dota 2の秘密のアイデアは、膨大な量の経験をニューラルネットワークに送り込み、ニューラルネットワークがそこから実際に学習して汎化するというものだった。

And later, we actually went back and applied this to the robot hand, and that became the key idea for the robot hand.

そして後日、私たちは実際に戻ってこれをロボットハンドに応用し、それがロボットハンドの重要なアイデアとなった。

And at the same time as these two big projects were going on, Alec Radford was experimenting with language.

そして、この2つの大きなプロジェクトが進行しているのと同時に、アレック・ラドフォードは言語の実験を行っていた。

And the core idea behind GPT-1 is that if you have a transformer, and you apply this super simple objective of guessing the next token, guessing the next word, that that would be enough signal that you could actually have something that would be able to generate coherent text.

GPT-1の核となるアイデアは、もしトランスフォーマーがあり、次のトークンを推測し、次の単語を推測するという超シンプルな目的を適用すれば、首尾一貫したテキストを生成することができるものを実際に作るのに十分なシグナルになるということだ。

And in retrospect, it sounds sort of obvious, right?

今にして思えば、当たり前のことだと思うだろう？

Like, you know, clearly this was going to work, but no one thought this would work at the time.

明らかにうまくいきそうだったのに、当時は誰もうまくいくとは思っていなかった。

Alec really had to persevere for years in order to make this work, and that became GPT-1.

アレックはこれを成功させるために何年も辛抱しなければならなかった。

And then after GPT-1 seemed successful, we brought in the ideas from Dota and from the robot hand of training at larger and larger amounts of scale, and training on a really diverse set of data, and looking for generalization.

GPT-1が成功したように見えた後、私たちはDotaとロボットハンドから、より大規模なスケールでのトレーニング、本当に多様なデータセットでのトレーニング、そして汎化を探すというアイデアを取り入れた。

And together, that brings you to GPT-2, and GPT-3, and GPT-4.

そしてGPT-2、GPT-3、GPT-4と続く。

So one of the things that OpenAI really pioneered and sort of figured out was this concept of scale.

だから、オープンAIが本当に先駆的で、ある種解明したことのひとつは、このスケールの概念だった。

How is it that it was OpenAI that made the right decisions and sort of found large language models first?

正しい決断を下し、大規模な言語モデルを最初に見つけたのがOpenAIだったというのは？

Early on, there were sort of a couple big projects, as I said, and then some room for exploratory research.

初期には、私が言ったように、2、3の大きなプロジェクトがあり、それから探索的な研究の余地があった。

And at the very earliest days, the exploratory research was really about what the researcher wanted to do, but also it was about sort of the company's opinion.

そして、最も初期の頃の探索的調査は、研究者が何をしたいかということであると同時に、ある種の会社の意見でもあった。

And in this, it was primarily formed by Ilya, with influence from a lot of people, but I think Ilya was really the guiding light here early on.

その中で、主にイリヤによって形成され、多くの人たちから影響を受けたが、イリヤは本当に早い段階からここでの導き手だったと思う。

Sometimes I think about the OpenAI culture, and I like to oppose it to sort of Google Brain and to DeepMind.

時々、私はOpenAIの文化について考えることがあるが、Google BrainやDeepMindのようなものと対立させたい。

And so early on, the DeepMind culture was a caricature.

だから、ディープマインドの文化は初期には風刺画のようなものだった。

Demis had a big plan, and he wanted to hire a bunch of researchers so he could tell them to move forward with his plan.

デミスは大きな計画を持っていて、研究者を大勢雇い、自分の計画を進めるように指示したかった。

And Google Brain said, let's rebuild academia.

そしてグーグル・ブレインは、アカデミアを再建しようと言った。

Let's like bring in all these super talented researchers.

超優秀な研究者を集めよう。

Let's not tell them anything.

彼らには何も言わないでおこう。

Let's just let them figure out what they want to do, give them lots of resources and hope that amazing products pop out.

彼らが何をしたいのかを考えさせ、多くのリソースを与え、素晴らしい製品が生まれることを期待しよう。

And of course they did, but they didn't necessarily happen at Google.

もちろんそうだが、それは必ずしもグーグルで起こったことではない。

And we took a different approach, which was really more like a startup, where there was no sort of big centralized plan, but at the same time, people didn't have, it wasn't just sort of, let's let a thousand flowers bloom.

そして私たちは、よりスタートアップに近い、中央集権的な大掛かりな計画はないけれども、同時に、ただ千の花を咲かせようというようなアプローチはとらなかった。

Instead, we had opinions about what needed to be done and things like, how do you show scale as a way of making your idea get better?

その代わり、何をすべきかについて意見を出し合い、アイデアをより良くする方法としてスケールをどう見せるか、といったようなことを考えた。

And that opinion was set by the research leadership.

そして、その意見は研究指導者によって決められた。

Again, early on, people like Ilya, people like Dario, that was how we made sure that we didn't just sort of throw resources at everybody, but neither did we have just one set of ideas that were there.

繰り返しになるが、イリヤやダリオのような人たちが初期にいたからこそ、私たちは皆にリソースを投じるだけでなく、ひとつのアイデアだけを持つこともなかった。

We found this sort of happy medium between the two.

私たちは、この2つの中間のようなものを見つけた。

I guess one of the critiques of maybe pure academia or some of the AI research labs, we don't have to name any of them, but we've heard stories about looking at the number of researchers on any given paper, there might be way more people on it.

純粋なアカデミアやAIの研究所に対する批判のひとつは、名前を挙げる必要はないのですが、ある論文の研究者の数を見ると、もっと多くの人が参加しているかもしれないという話を聞いたことがあります。

And if you really dig into some of the papers there, they look like maybe a little bit of this plus a little bit of that.

そして、その論文のいくつかを本当に掘り下げてみると、たぶん、これとあれを少し足したようなものに見える。

And that sort of reflected the nature of that's what it took to get compute.

そして、それがコンピュートを手に入れるために必要なことの本質を反映したようなものだった。

And this is at other AI labs.

そして、これは他のAI研究所でのことだ。

I mean, what was it about open AI where you were able to sort of avoid that?

つまり、オープンAIでそれを回避できたのはなぜか？

Well, I think the paper example is a really interesting example, because I think that's sort of both good and bad.

まあ、論文の例は本当に興味深い例だと思う。

I am hugely positive on academics and researchers, but actually pretty negative on academia.

私は学者や研究者に対しては大いに肯定的だが、実は学問に対してはかなり否定的だ。

I think academia is good for this very narrow thing of small groups, trying out crazy ideas, but academia has a lot of incentives that prevent people from collaborating.

アカデミアは、少人数でクレイジーなアイデアを試すという非常に狭い範囲での活動には適していると思うが、アカデミアには人々が協力することを妨げるインセンティブがたくさんある。

And in particular in academia, there's this obsession with credit.

特に学問の世界では、単位に執着する傾向がある。

One of the things that's interesting about the way that papers have turned out in big labs is that early on we made the decision that we would try to be as Catholic as possible in putting everybody's name on it.

大きな研究室での論文の出来上がり方について興味深いことのひとつは、早い段階から、できるだけカトリック的に全員の名前を載せるようにしようと決めていたことだ。

And one of the early robotics papers, we actually said cite as open AI because we didn't wanna get into a fight.

初期のロボット工学の論文の1つで、私たちは喧嘩になりたくなかったので、オープンAIとして引用すると言ったんだ。

The first author is the one who gets cited and their name shows up every single time.

最初の著者が引用され、その名前が毎回表示される。

So we said, we're not gonna try to have this fight.

だから私たちは、この試合をするつもりはないと言ったんだ。

We're not gonna say who is the person who really did it.

誰が本当にやったのかは言わない。

We're just gonna say cite as open AI.

私たちはオープンAIと言うだけだ。

And I think that is actually a really important cultural piece, the ability to accept that people want credit, but to be able to channel it into, it's your internal reputation, not the position you have on the paper that really matters.

人々が信用を欲しがっていることを受け入れ、その信用を紙面上の地位ではなく、社内での評判に振り向けることができるかどうかが本当に重要なのです。

And for a long time, open AI didn't really have any titles except for always a CEO title, right?

そして長い間、オープンAIにはCEOという肩書き以外、何の肩書きもなかったよね？

But didn't really have a lot of titles within the organization itself.

しかし、組織内ではあまり肩書きがなかった。

People always knew who the great researchers were.

偉大な研究者が誰なのか、人々は常に知っていた。

Once you have the scaling laws and certainly how AI research is being done now, there's sort of this shift where basically scale is all you need for increasingly more and more AI domains.

スケーリングの法則が確立され、AI研究がどのように行われているかが明らかになれば、ますます多くのAI領域で、基本的にスケールさえあればいいというシフトが起こります。

It's sort of potentially coming true in image diffusion models or in earlier to bring it back to what you're starting out with.

画像拡散モデルや、より早い段階で、あなたが最初に始めたことに戻すことで、それが実現する可能性があるんだ。

There's some sense that similar principles to scaling laws actually do apply in the right domains in robotics.

スケーリングの法則と似たような原理が、ロボット工学の適切な領域で実際に適用されるという感覚はある。

Is that sort of one of the things that you're seeing or how would you respond to that?

それはあなたが見ていることの一つですか、それともそれに対してどう対応しますか？

I think if you look at AI progress, you see scaling laws all over the place.

AIの進歩を見ると、スケーリング法則があちこちに見られると思う。

And so the interesting question is, well, if scaling laws exist and they're commonplace, what does that mean?

スケーリング法が存在し、それが一般的なものだとしたら、それは何を意味するのか？

What does that mean for you if you're a company, if you're a researcher, if you're trying to make things better?

もしあなたが企業であり、研究者であり、物事をより良くしようとするのであれば、それはあなたにとって何を意味するのだろうか？

Why didn't we take advantage of scaling laws earlier in these other domains?

なぜ、他の領域でもっと早くスケーリング法則を利用しなかったのだろうか？

Well, I think we were really trying to.

まあ、私たちは本当にそうしようとしていたと思う。

Usually in order to, the first step is actually getting to a scaling law.

通常、そのためには、まずスケーリングの法則に到達する必要がある。

To take an example that's not LLMs.

LLM以外の例を挙げるとすれば。

If you think about Dolly, which was how do you take text and make an image out of it?

ドリーについて考えてみると、テキストをどうやって画像にするのか？

I think Aditya Ramesh who built that model spent 18 months, maybe two years just getting to the first version that clearly worked.

あのモデルを作ったアディティヤ・ラメッシュは、明らかに機能する最初のバージョンを完成させるのに18カ月か、2年ぐらい費やしたと思う。

So I remember he'd be working on this and Ilya would come and show me, he'd be like, Aditya's been working on this for a year.

イリヤがやってきて僕に見せてくれたんだ。

He's trying to make a pink panda.

彼はピンクのパンダを作ろうとしている。

That's skating on ice because it's something that's clearly not in the training set.

それは氷上のスケートで、明らかにトレーニングセットにはないものだからだ。

And here's an image and you can see it's like pink up there and white down there.

これがその画像で、上がピンクで下が白いのがわかるだろう。

It's really beginning to work.

本当にうまくいき始めている。

And I would look at that.

そして、私はそれを見るだろう。

I'd be like, really?

本当に？

I mean, maybe, maybe, I don't know.

つまり、多分、多分、分からない。

But just getting to that point where it's sort of plausibly begins to work is a huge difficult problem.

しかし、それがもっともらしく機能し始めるところまで到達するだけでも、非常に難しい問題なのだ。

And it's completely separate from using scaling laws.

そしてそれは、スケーリング法則を使うこととはまったく別のことだ。

Now, once you get it to work, that's when scaling laws come into play.

さて、それが機能するようになれば、スケーリングの法則が効いてくる。

And with scaling laws, you have two hard things that you can do.

そしてスケーリング法では、2つの難しいことがある。

One of them is just the pure scale itself.

そのひとつは、純粋なスケールそのものだ。

Scaling is not easy.

スケーリングは簡単ではない。

It is in fact, probably the practical problem in any sort of model building.

実際、これはあらゆる模型製作における現実的な問題だろう。

And it's a systems problem.

これはシステムの問題だ。

It's a data problem.

データの問題だ。

It's an algorithmic problem.

アルゴリズムの問題だ。

Even if you're just trying to scale the same architecture.

同じアーキテクチャーを拡張しようとしているだけでもね。

The second thing you can do is you can try to change the slope of the scaling law or just bump it up a little bit.

もうひとつは、スケーリング則の傾きを変えてみるか、少し上げてみることだ。

And that is searching for better architectures, searching for better optimization algorithms, all of the algorithmic improvements that you can do.

そしてそれは、より優れたアーキテクチャーの探求であり、より優れた最適化アルゴリズムの探求であり、あなたができるすべてのアルゴリズムの改良なのです。

And if you put all of those together, that is what explains the very fast progress that we're seeing in AI today.

そして、それらをすべて合わせると、今日のAIの急速な進歩が説明できる。

I guess that is one of the bigger debates that's ongoing certainly out there in the community.

それは、コミュニティーの中で現在進行形で行われている大きな議論のひとつだと思う。

Are the scaling laws going to continue to hold or are we hitting some sort of bottlenecks?

スケーリングの法則はこのまま維持されるのか、それとも何らかのボトルネックにぶつかっているのか。

I don't know how much you can talk about it, but what's your view at this point on maybe LLM scaling, but certainly other domains too?

どこまで話せるかわかりませんが、LLMのスケーリングについて、あるいは他の領域についても、現時点ではどのようにお考えですか？

It is definitely the case that there is a data wall and that if you take the same techniques that we were using to scale LLMs, at some point you're going to run into that.

データの壁があるのは確かで、LLMのスケールに使っていたのと同じテクニックを使えば、ある時点でその壁にぶつかることになる。

The thing that's been really exciting, of course, is going from the LLM scaling of pre-training where you're just bringing bigger and bigger corpuses and trying to predict the next token and shifting gears and using techniques like reasoning, which OpenAI has shipped and it's 01 and 03 models and Gemini has now also shipped in Gemini Flash thinking.

もちろん、本当にエキサイティングだったのは、より大きなコーパスを持ち込んで次のトークンを予測しようとする、LLMのスケーリングによる事前学習からシフトチェンジして、推論のようなテクニックを使うようになったことです。

If you think about Moore's law, with Moore's law, Moore's law is one big exponential curve, but it's actually the sum of a bunch of little S-curves.

ムーアの法則について考えてみると、ムーアの法則は1つの大きな指数曲線ですが、実際には小さなS字曲線の束の総和です。

And you start off with Dennard scaling and at some point that breaks.

そしてデナードのスケーリングでスタートし、ある時点でそれが崩れる。

But if you think about how NVIDIA has gone, Moore's law has continued.

しかし、エヌビディアの歩みを考えると、ムーアの法則は続いている。

It's just come through a different mechanism.

ただ、違うメカニズムで来ただけだ。

So you solve some bottleneck, but then you S-curve that particular solution.

つまり、あるボトルネックを解決し、その特定の解決策をS字カーブさせるわけだ。

But there are other places where there are other bottlenecks.

しかし、他にもボトルネックになっている場所がある。

And then you have a new bottleneck and you have to go attack that.

そして新たなボトルネックが生まれ、そこを攻めなければならない。

And so, I think in the big picture, we're reaching that bottleneck for pre-training and data.

だから、全体像としては、事前トレーニングとデータのボトルネックに到達していると思う。

Are we exactly there?

我々はまさにそこにいるのだろうか？

It's a little hard to say.

ちょっと言いにくいんだ。

But now we have this new mechanism with reasoning and test-time compute.

しかし今は、推論とテストタイム・コンピュートという新しいメカニズムがある。

I think if you go back and you think about what it took for AI, for building AGI, for, I would say the last five years, people have thought that, people at the big frontier labs have felt that, you know, step one was pre-training and that the remaining gap to have something that could scale all the way to AGI was reasoning.

過去5年間、AIやAGIを構築するために何が必要だったかを考えてみると、大きなフロンティア研究所の人たちは、第1段階は事前訓練であり、AGIまで拡張できるものを作るための残りのギャップは推論だと考えてきました。

Some ability to take the same pre-trained model and have the ability to give it more time to think or more compute of various kinds and get a better answer at the other end.

同じように事前に訓練されたモデルを使って、考える時間を増やしたり、さまざまな種類の計算をさせたりして、より良い答えを得ることができる。

And now that that has been cracked, at this point, I think we actually have a very clear path to just focus on scaling.

そして今、その問題は解決され、私たちはスケーリングに集中することができるようになった。

You know, we were, you know, talking about that, you know, the zero to one part that's not about scaling.