Name: ボブ・マクグルー：AIエージェントとAGIへの道 (Bob McGrew: AI Agents And The Path To AGI)
Uploaded: 2025-01-31T21:38:45.000Z
Duration: 31 min 2 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

to 不定詞

The deadline to apply for the first YC Spring Batch is February 11th.

第1回YCスプリング・バッチへの応募締め切りは2月11日。

最上級形容詞

If you're accepted, you'll receive $500,000 in investment, plus access to the best startup community in the world.

合格すれば、50万ドルの投資と、世界最高のスタートアップ・コミュニティへのアクセスが提供される。

命令形

So apply now and come build the future with us.

今すぐ応募して、私たちと一緒に未来を築きましょう。

If you ask people what AGI was, they would say it's a model that you can actually interact with.

AGIとは何かと聞けば、実際に対話できるモデルだと答えるだろう。

チューリング・テストに合格している。

イメージを描くこともできる。

もう何年もこうしているようなものだ。

And if you said, okay, well, what happens when you get all those capabilities?

そして、もしそうだとしたら、その能力をすべて手に入れたらどうなる？

Say, well, everybody's out of a job and game over for humanity.

みんな職を失い、人類はゲームオーバーだ。

そして、そのどれも実現していない。

I think in the big picture, we're reaching that bottleneck for pre-training and data.

大局的に見れば、事前トレーニングとデータのボトルネックに達していると思う。

But now we have this new mechanism with reasoning and test time compute.

しかし今、私たちは推論とテスト時間の計算という新しいメカニズムを手に入れた。

What we're going to see out of reasoning is that it's really going to unlock the possibility of agents to do actions on your behalf, which has sort of always been possible, but it's just never been quite good enough.

推論から見えてくるのは、あなたの代わりにエージェントが行動する可能性を解き放つということだ。

あなたは本当に多くの信頼性を必要としている。

やあ、みんな、今日はとっておきのプレゼントがあるんだ。

Bob McGrew, formerly chief research officer at OpenAI.

元OpenAIのチーフ・リサーチ・オフィサー、ボブ・マックグルー。

You were a part of building a lot of the research team.

あなたは多くの研究チームを作る一端を担った。

OpenAIの初期はどんな感じでしたか？

The really interesting thing about OpenAI is that I did not originally intend to go to a research lab.

OpenAIについて本当に興味深いのは、私はもともと研究所に行くつもりはなかったということだ。

When I left Palantir, I wanted to start a company.

パランティアを辞めたとき、私は会社を立ち上げたかった。

I had a thesis that robotics would be the first real business that was built out of deep learning.

私は、ロボット工学がディープラーニングから構築される最初の実際のビジネスになるだろうという論文を持っていた。

And I talked my way into a friend's nonprofit.

そして、友人の非営利団体に入るように説得した。

I never had a badge, but I would go in, he'd open the door for me.

バッジは持っていなかったが、中に入ると彼がドアを開けてくれた。

And I learned deep learning by teaching a robot how to play checkers from vision.

そして私は、ロボットに視覚からチェッカーの遊び方を教えることで、ディープラーニングを学んだ。

And in the process of doing this, I learned a lot about robotics.

そしてその過程で、私はロボット工学について多くを学んだ。

And I learned that robotics was definitely not the right startup to start in 2015 or 2016.

そして私は、ロボット工学は2015年や2016年に始めるべきスタートアップではないことを学んだ。

I ended up going to OpenAI basically because it was a place full of very smart people and it had big ambitions.

私がOpenAIに行くことになったのは、基本的にとても頭のいい人たちが集まっていて、大きな野心を持っている場所だったからだ。

It was a place where I could really learn.

I had all this management experience from Palantir, but it was just a place for me to really become an expert in deep learning.

私はパランティアでマネジメントの経験を積んだが、それはディープラーニングのエキスパートになるための場所だった。

And from there, figure out what it could actually be used and applied for.

そしてそこから、それが実際に何に使われ、応用されうるかを見つけ出す。

What were some of the earliest things that you remember working on?

最初に取り組んだ仕事にはどんなものがありましたか？

And how did that play into what everyone knows OpenAI to be now?

そして、それが現在のOpenAIのあり方にどのように影響しているのでしょうか？

When OpenAI started, the goal was always to build AGI.

オープンAIがスタートしたとき、目標は常にAGIを構築することだった。

But the theory early on was that we would build AGI by doing a lot of research and writing a lot of papers.

しかし、初期の段階では、多くの研究を行い、多くの論文を書くことでAGIを構築するという理論だった。

そして、それが間違った理論であることもわかっていた。

I think for a lot of the early people who were startup people, Sam, Greg, myself, it felt painful and a little academic.

サム、グレッグ、そして私自身、スタートアップだった初期の人たちの多くにとって、それは苦痛であり、少しアカデミックなものだったと思う。

But at the same time, it was what we could do at the time.

でも同時に、それが当時の僕らにできることだった。

And so some of the early projects, I worked on a robotics project where we took a robot hand, a humanoid robot hand, and we taught it to solve Rubik's Cube.

初期のプロジェクトでは、ロボットハンド（人型ロボットハンド）を使ってルービックキューブを解かせるというロボット工学のプロジェクトに携わりました。

The idea in doing that was that if we could make the environments complicated enough, the artificial intelligence would be able to generalize out of the narrow domain it was taught and learn something more complicated, which was one of the ideas that later we see coming back with LLMs.

環境を十分に複雑にすることができれば、人工知能は教えられた狭い領域から汎化して、より複雑なことを学習できるようになるだろうというのがその考え方だった。

The other really early big project was solving Dota 2.

もうひとつの本当に初期の大きなプロジェクトは、Dota 2を解決することだった。

So there's a long history of solving games as a path towards building better AI, from Othello to Go.

オセロから囲碁に至るまで、より優れたAIを構築するための道筋としてゲームを解いてきた長い歴史があるわけだ。

And after beating Go, the next hardest set of games are actually video games.

囲碁の次に難しいのは、実はビデオゲームだ。

They're not very classy, but they're a lot of fun.

あまり上品ではないが、とても楽しい。

And I can assure you that mathematically, they were harder.

そして、数学的にはもっと難しかったと断言できる。

And so DeepMind went after StarCraft, OpenAI went after Dota 2.

そしてディープマインドはスタークラフトを、オープンAIはDota 2を狙った。

And there was real insight that was generated there, which was that it really strengthened our belief that scale was the path to improving artificial intelligence.

そして、そこで生まれた真の洞察があった。それは、スケールこそが人工知能を向上させる道であるという私たちの信念を、より強固なものにしたということだ。

That with Dota 2, the secret idea was that we could take huge amounts of experience and feed it into a neural network, and that the neural network would actually learn and generalize from that.

Dota 2の秘密のアイデアは、膨大な量の経験をニューラルネットワークに送り込み、ニューラルネットワークがそこから実際に学習して汎化するというものだった。

And later, we actually went back and applied this to the robot hand, and that became the key idea for the robot hand.

そして後日、私たちは実際に戻ってこれをロボットハンドに応用し、それがロボットハンドの重要なアイデアとなった。

And at the same time as these two big projects were going on, Alec Radford was experimenting with language.

そして、この2つの大きなプロジェクトが進行しているのと同時に、アレック・ラドフォードは言語の実験を行っていた。

And the core idea behind GPT-1 is that if you have a transformer, and you apply this super simple objective of guessing the next token, guessing the next word, that that would be enough signal that you could actually have something that would be able to generate coherent text.

GPT-1の核となるアイデアは、もしトランスフォーマーがあり、次のトークンを推測し、次の単語を推測するという超シンプルな目的を適用すれば、首尾一貫したテキストを生成することができるものを実際に作るのに十分なシグナルになるということだ。

And in retrospect, it sounds sort of obvious, right?

今にして思えば、当たり前のことだと思うだろう？

Like, you know, clearly this was going to work, but no one thought this would work at the time.

明らかにうまくいきそうだったのに、当時は誰もうまくいくとは思っていなかった。

Alec really had to persevere for years in order to make this work, and that became GPT-1.

アレックはこれを成功させるために何年も辛抱しなければならなかった。

And then after GPT-1 seemed successful, we brought in the ideas from Dota and from the robot hand of training at larger and larger amounts of scale, and training on a really diverse set of data, and looking for generalization.

GPT-1が成功したように見えた後、私たちはDotaとロボットハンドから、より大規模なスケールでのトレーニング、本当に多様なデータセットでのトレーニング、そして汎化を探すというアイデアを取り入れた。

And together, that brings you to GPT-2, and GPT-3, and GPT-4.

そしてGPT-2、GPT-3、GPT-4と続く。

So one of the things that OpenAI really pioneered and sort of figured out was this concept of scale.

だから、オープンAIが本当に先駆的で、ある種解明したことのひとつは、このスケールの概念だった。

How is it that it was OpenAI that made the right decisions and sort of found large language models first?

正しい決断を下し、大規模な言語モデルを最初に見つけたのがOpenAIだったというのは？

Early on, there were sort of a couple big projects, as I said, and then some room for exploratory research.

初期には、私が言ったように、2、3の大きなプロジェクトがあり、それから探索的な研究の余地があった。

And at the very earliest days, the exploratory research was really about what the researcher wanted to do, but also it was about sort of the company's opinion.

そして、最も初期の頃の探索的調査は、研究者が何をしたいかということであると同時に、ある種の会社の意見でもあった。

And in this, it was primarily formed by Ilya, with influence from a lot of people, but I think Ilya was really the guiding light here early on.

その中で、主にイリヤによって形成され、多くの人たちから影響を受けたが、イリヤは本当に早い段階からここでの導き手だったと思う。

Sometimes I think about the OpenAI culture, and I like to oppose it to sort of Google Brain and to DeepMind.

時々、私はOpenAIの文化について考えることがあるが、Google BrainやDeepMindのようなものと対立させたい。

And so early on, the DeepMind culture was a caricature.

だから、ディープマインドの文化は初期には風刺画のようなものだった。

Demis had a big plan, and he wanted to hire a bunch of researchers so he could tell them to move forward with his plan.

デミスは大きな計画を持っていて、研究者を大勢雇い、自分の計画を進めるように指示したかった。

And Google Brain said, let's rebuild academia.

そしてグーグル・ブレインは、アカデミアを再建しようと言った。

Let's like bring in all these super talented researchers.

彼らには何も言わないでおこう。

Let's just let them figure out what they want to do, give them lots of resources and hope that amazing products pop out.

彼らが何をしたいのかを考えさせ、多くのリソースを与え、素晴らしい製品が生まれることを期待しよう。

And of course they did, but they didn't necessarily happen at Google.

もちろんそうだが、それは必ずしもグーグルで起こったことではない。

And we took a different approach, which was really more like a startup, where there was no sort of big centralized plan, but at the same time, people didn't have, it wasn't just sort of, let's let a thousand flowers bloom.

そして私たちは、よりスタートアップに近い、中央集権的な大掛かりな計画はないけれども、同時に、ただ千の花を咲かせようというようなアプローチはとらなかった。

Instead, we had opinions about what needed to be done and things like, how do you show scale as a way of making your idea get better?

その代わり、何をすべきかについて意見を出し合い、アイデアをより良くする方法としてスケールをどう見せるか、といったようなことを考えた。

And that opinion was set by the research leadership.

そして、その意見は研究指導者によって決められた。

Again, early on, people like Ilya, people like Dario, that was how we made sure that we didn't just sort of throw resources at everybody, but neither did we have just one set of ideas that were there.

繰り返しになるが、イリヤやダリオのような人たちが初期にいたからこそ、私たちは皆にリソースを投じるだけでなく、ひとつのアイデアだけを持つこともなかった。

We found this sort of happy medium between the two.

私たちは、この2つの中間のようなものを見つけた。

I guess one of the critiques of maybe pure academia or some of the AI research labs, we don't have to name any of them, but we've heard stories about looking at the number of researchers on any given paper, there might be way more people on it.

純粋なアカデミアやAIの研究所に対する批判のひとつは、名前を挙げる必要はないのですが、ある論文の研究者の数を見ると、もっと多くの人が参加しているかもしれないという話を聞いたことがあります。

And if you really dig into some of the papers there, they look like maybe a little bit of this plus a little bit of that.

そして、その論文のいくつかを本当に掘り下げてみると、たぶん、これとあれを少し足したようなものに見える。

And that sort of reflected the nature of that's what it took to get compute.

そして、それがコンピュートを手に入れるために必要なことの本質を反映したようなものだった。

そして、これは他のAI研究所でのことだ。

I mean, what was it about open AI where you were able to sort of avoid that?

つまり、オープンAIでそれを回避できたのはなぜか？

Well, I think the paper example is a really interesting example, because I think that's sort of both good and bad.

まあ、論文の例は本当に興味深い例だと思う。

I am hugely positive on academics and researchers, but actually pretty negative on academia.

私は学者や研究者に対しては大いに肯定的だが、実は学問に対してはかなり否定的だ。

I think academia is good for this very narrow thing of small groups, trying out crazy ideas, but academia has a lot of incentives that prevent people from collaborating.

アカデミアは、少人数でクレイジーなアイデアを試すという非常に狭い範囲での活動には適していると思うが、アカデミアには人々が協力することを妨げるインセンティブがたくさんある。

And in particular in academia, there's this obsession with credit.

特に学問の世界では、単位に執着する傾向がある。

One of the things that's interesting about the way that papers have turned out in big labs is that early on we made the decision that we would try to be as Catholic as possible in putting everybody's name on it.

大きな研究室での論文の出来上がり方について興味深いことのひとつは、早い段階から、できるだけカトリック的に全員の名前を載せるようにしようと決めていたことだ。

And one of the early robotics papers, we actually said cite as open AI because we didn't wanna get into a fight.

初期のロボット工学の論文の1つで、私たちは喧嘩になりたくなかったので、オープンAIとして引用すると言ったんだ。

The first author is the one who gets cited and their name shows up every single time.

最初の著者が引用され、その名前が毎回表示される。

So we said, we're not gonna try to have this fight.

だから私たちは、この試合をするつもりはないと言ったんだ。

We're not gonna say who is the person who really did it.

誰が本当にやったのかは言わない。

私たちはオープンAIと言うだけだ。

And I think that is actually a really important cultural piece, the ability to accept that people want credit, but to be able to channel it into, it's your internal reputation, not the position you have on the paper that really matters.

人々が信用を欲しがっていることを受け入れ、その信用を紙面上の地位ではなく、社内での評判に振り向けることができるかどうかが本当に重要なのです。

And for a long time, open AI didn't really have any titles except for always a CEO title, right?

そして長い間、オープンAIにはCEOという肩書き以外、何の肩書きもなかったよね？

But didn't really have a lot of titles within the organization itself.

しかし、組織内ではあまり肩書きがなかった。

People always knew who the great researchers were.

偉大な研究者が誰なのか、人々は常に知っていた。

Once you have the scaling laws and certainly how AI research is being done now, there's sort of this shift where basically scale is all you need for increasingly more and more AI domains.

スケーリングの法則が確立され、AI研究がどのように行われているかが明らかになれば、ますます多くのAI領域で、基本的にスケールさえあればいいというシフトが起こります。