Name: 制御不能なAIへの懸念が高まる - 2人のトップAI科学者がその理由を説明 (Fears around uncontrollable AI are growing — two top AI scientists explain why)
Uploaded: 2025-08-15T18:28:54.000Z
Duration: 30 min 34 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

Welcome to Beyond the Valley, a CNBC Tech podcast with Arjun Karpal and Tom Chitty.

アルジュン・カルパルとトム・チッティによるCNBCテックポッドキャスト「Beyond the Valley」へようこそ。

Artificial intelligence capabilities are advancing at breakneck speeds.

人工知能の能力は猛烈なスピードで進歩している。

基礎受動態

Experts are talking about artificial general intelligence, or AGI, which is broadly defined as AI that is smarter than humans.

専門家たちは人工知能（AGI）について話している。

And then there's superintelligence, which goes even further.

そして、さらにその上を行く超知能がある。

しかし、それにはリスクが伴う。

What would happen if the AI gets out of control?

AIが暴走したらどうなるのか？

Thankfully, I have two very prominent AI scientists with me to get into this as part of this special edition of Beyond the Valley from the World Economic Forum's meeting in Davos.

ありがたいことに、ダボスで開催された世界経済フォーラム（ダボス会議）の「Beyond the Valley」特別版として、2人の著名なAI科学者をお招きし、この問題に迫ってみたい。

I'm here with Max Tegmark, who is the president of the Future of Life Institute and a professor at MIT who's researching AI.

マックス・テグマルクと一緒です。彼はFuture of Life Instituteの会長であり、AIを研究しているマサチューセッツ工科大学（MIT）の教授です。

Yoshua Bengio, full professor at Université de Montreal, as well as the founder and scientific director of Mila and a Turing Award recipient.

モントリオール大学の正教授であり、Milaの創設者兼科学ディレクターであり、チューリング賞受賞者でもあるヨシュア・ベンジオ。

ヨシュア、マックス、参加してくれてありがとう。

Max, firstly, you told me something interesting about Yoshua in the back before we started.

マックス、まず、あなたはヨシュアについて面白いことを話してくれた。

He just overtook Jeff Hinton to become the most cited AI researcher in the world.

彼はジェフ・ヒントンを抜き、世界で最も引用されたAI研究者になったばかりだ。

And Yoshua, many people dub you one of the godfathers of AI as well.

そしてヨシュア、多くの人があなたをAIの名付け親の一人と呼んでいる。

So we've got some serious, serious knowledge sat here.

だから、私たちは重大な、重大な知識をここに蓄えている。

でもね、AGIから始めましょう。

I mentioned the definition of AGI, and we know that is a hotly debated thing as well.

AGIの定義について触れたが、それについても議論があることは承知している。

As you think about artificial general intelligence, can you help us both to define it?

人工知能について考えるとき、私たち二人がそれを定義するのを手伝ってくれる？

So these days, a lot of people use it for hype.

だから最近では、多くの人が誇大広告のために使っている。

But I think it's better to just go with the original definition, which is made by Shane Legge, one of the leaders of Google DeepMind.

しかし、私は、グーグル・ディープマインドのリーダーの一人であるシェーン・レッジが行ったオリジナルの定義に従う方がいいと思う。

It stands for artificial general intelligence.

It's basically AI that can make us economically obsolete, do all our jobs cheaper and faster than us.

基本的にAIは、私たちを経済的に陳腐化させ、私たちよりも安く、早くすべての仕事をこなすことができる。

And it's been the holy grail of AI research since the inception, really, to figure out how the biological computer we have on our shoulders works and see if you can figure out how to make something which is just better all around.

私たちが肩に乗せている生物学的なコンピューターがどのように機能するのかを解明し、より優れたものを作る方法を見つけることだ。

And for you, Yoshua, are you happy with that definition as we go through the conversation?

そして、ヨシュア、あなたはこの定義に満足していますか？

One thing I would add is artificial superintelligence, where you're substantially above the mark, like above the distribution of human capabilities across many areas.

ひとつ付け加えるとすれば、人工的な超知能で、多くの分野で人間の能力を大幅に上回るようなものだ。

And that is something different from AGI in the sense that we're talking about entities that are way smarter than us, in the same way that we're smarter than, you know, an adult is smarter than a child or even we're smarter than primates.

これはAGIとは異なるもので、私たちよりもはるかに賢い存在について話しているのです。私たちが大人よりも子供よりも賢いのと同じように、あるいは私たちが霊長類よりも賢いのです。

So as we get through this discussion, we're going to definitely get on to artificial superintelligence.

だから、この議論を進めていくうちに、間違いなく人工超知能の話になる。

I wanted to kind of start with AGI first.

まずはAGIから始めたかったんだ。

Both of you helped give us a sense of where we are on that journey.

お二人のおかげで、私たちがその旅路のどの地点にいるのかを知ることができた。

I hear Sam Altman, the CEO of OpenAI, speak and say, well, OpenAI knows how to develop AGI and we think it's going to come this year and it's going to be way less, you know, impactful than we think.

オープンエーアイのCEOであるサム・アルトマンが、「オープンエーアイはAGIの開発方法を知っている。

I think we have to admit that we don't know.

分からないということを認めざるを得ないと思う。

And some people say it's next year, two years, three years.

来年だ、2年だ、3年だと言う人もいる。

If you look at polls among machine learning researchers, I think the idea that it could be a few years to a few decades covers a lot of the opinions.

機械学習研究者の世論調査を見ると、数年から数十年という意見が多いように思う。

And from the point of view of the decisions we have to take collectively as a public, that governments have to take, I think we just have to bite the bullet of that uncertainty and be ready in case it happens in just a few years, but expect that it could be also longer.

そして、国民として、政府として、集団として取らなければならない決断の観点からすれば、私たちはその不確実性を噛みしめ、数年以内にそうなることを想定して準備をしなければならない。

We can't bet that this is going to be the case.

そうであることに賭けることはできない。

And if it happens quickly, I don't think we're ready.

そして、もしそれがすぐに起こるなら、私たちは準備ができていないと思う。

Neither at the scientific level, like we don't know how to control AGI and nor at the level of coordination between governments, regulation, making sure that very powerful entities are not becoming new weapons in a very dangerous ways.

AGIを制御する方法がわからないというような科学的なレベルでも、政府間の調整、規制、非常に強力な存在が非常に危険な方法で新たな武器にならないようにするというレベルでもない。

And just to add to that, which I completely agree with, AI has been overhyped ever since the fifties and consistently taken longer to make progress than a lot of the hypers claimed until the last four years or so when things really shifted.

さらに付け加えれば、私もまったく同意見だが、AIは50年代からずっと誇張され続けてきたし、ここ4年ぐらいで状況が一変するまでは、多くの誇大広告が主張するよりも進歩に時間がかかっていた。

Most of my AI colleagues thought five years ago, six years ago, that something that could pass the Turing test and master language and knowledge at the level of GPT-4 was also away.

チューリング・テストに合格し、GPT-4レベルの言語と知識を習得できるようなものは、5年前、6年前にも存在しないと、私の同僚のほとんどは考えていた。

いやはや、彼らは間違っていたね。

And my joke answer to your question of when it happens is somewhere between when Sam Altman says it's going to happen and when Jan LeCun says it's going to happen.

いつ実現するかという質問に対する私の冗談のような答えは、サム・アルトマンが実現すると言ったときとヤン・ルクンが実現すると言ったときの間のどこかだ。

Actually Jan LeCun agrees that it could be a few years to a couple of decades.

実際、ヤン・レクンも数年から数十年はかかるだろうと同意している。

That's a fantastic illustration of the shift that's happened because he used to say decades and decades and just the other week he said on a podcast, very far from now, by which I don't mean centuries or decades, I mean years.

というのも、彼は以前は何十年、何十年と言っていたのに、つい先週のポッドキャストでは、今からとても先のこと、つまり何世紀や何十年という意味ではなく、何年という意味だと言っていたからだ。

So we are clearly much closer to being able to build this technology than we are to figuring out how to control it.

だから私たちは、この技術を制御する方法を解明するよりも、この技術を構築することのほうがはるかに近いことは明らかだ。

And a big focus of this conversation I want to talk to you about was something Joshua brought up about the risks and the multiple things we need to discuss in terms of controlling AGI.

そして、私があなたに話したいこの会話の大きな焦点は、ジョシュアが提起した、AGIをコントロールする上でのリスクと議論すべき複数の事柄についてです。

Max, the Future of Life Institute was in 2023 called for a pause to development of AI systems beyond GPT-4 until, I guess, the risks were figured out.

マックス、生命の未来研究所は2023年に、リスクが解明されるまでGPT-4を超えるAIシステムの開発を一時停止するよう呼びかけていた。

And we've had a conversation about this just a few months ago as well.

つい数カ月前にも、このことについて話し合ったことがある。

What has happened since that call to action and what are you concerned about right now?

あの呼びかけから何が起き、今、何を心配しているのか。

What's happened since then is an absolute explosion in the public discourse.

それ以来起こったことは、世論における絶対的な爆発である。

It's after people like Joshua Bengio signed this pause letter, people felt, everyone else felt safe also expressing concerns because nobody can claim that you're a crackpot if you worry about something that he also worries about, right?

ジョシュア・ベンジオのような人たちがこのポーズレターに署名したことで、他の人たちも安心して懸念を表明できるようになった。

And we've seen Senate hearings in the US, we've seen international summits, etc.

アメリカでは上院の公聴会、国際サミットなどを見てきた。

So at least now a lot of people are talking the talk.

だから、少なくとも今、多くの人たちが口にしている。

We have to see if we can get them to walk the walk also though because it's clearly insane for us humans to build something way smarter than us before we figure out how to control it.

というのも、私たち人間がそれをコントロールする方法を理解する前に、自分たちよりずっと賢いものを作り上げるのは明らかに非常識だからだ。

Joshua, for you, what are your specific concerns about the direction of travel at the moment?

ジョシュア、あなたにとって、現在の方向性についての具体的な懸念は？

Researchers in AI have been inspired by human intelligence to build machine intelligence.

AIの研究者たちは、機械知能を構築するために人間の知能からインスピレーションを得てきた。

And in humans, there's a mix of both the ability to understand the world, like pure intelligence, and the agentic behavior, meaning to achieve, being able to achieve goals, to use your knowledge to achieve goals.

そして人間には、純粋な知性のような世界を理解する能力と、目標を達成すること、目標達成のために知識を活用することを意味するエージェント的行動の両方が混在している。

And right now, this is how we're building AGI.

そして今、私たちはこうしてAGIを作り上げている。

We're trying to make them agents that understand a lot about the world and then can act accordingly.

世界について多くを理解し、それに従って行動できるエージェントにしようとしている。

But this is actually a very dangerous proposition.

しかし、これは実は非常に危険な提案なのだ。

It would be like creating a new species or a new intelligent entity on this and not knowing if they're going to behave in ways that agree with our needs.

それは、この地球上に新しい種や知的生命体を創造するようなもので、彼らが私たちのニーズに合った行動をとるかどうかはわからない。

So instead, we can consider what are the scenarios in which things go badly?

では、その代わりに、物事が悪い方向に向かうシナリオは何なのかを考えてみよう。

そして、それらはすべて代理店に依存している。

In other words, it is because the AI has its own goals that we could be in trouble.

つまり、AIが独自の目標を持っているからこそ、私たちはトラブルに巻き込まれる可能性があるのだ。

So this notion of agency being separate from intelligence, I believe, is a key to get things that are smart, that can help us, you know, cure diseases, for example, and not be our competitors or even our friends.

つまり、エージェンシーをインテリジェンスから切り離すという考え方は、例えば病気の治療などに役立つような賢いものを手に入れるための鍵であり、競争相手や友人でもないのだと思う。

And Joshua, just to follow up on that and go a little bit deeper, because you wrote recently about this idea of self-preservation.

ジョシュア、その続きで、もう少し突っ込んだ話をしたいんだけど、君は最近、自己保存という考え方について書いていたよね。

それが何を意味するのか、説明していただけますか？

So every living thing on this planet has a self-preservation instinct or explicit goal, and otherwise evolution would have gotten rid of those species.

そうでなければ、進化はそのような種を駆逐してしまうだろう。

And so it's a good thing, but it also puts us in competition with each other, individuals, species, groups of humans, for example.

それはいいことなのだが、同時に、例えば人間同士、個体同士、種同士、グループ同士で競争することになる。

But do we want to be in competition with entities that are smarter than us?

しかし、私たちは自分たちよりも賢い存在と競争したいのだろうか？

It's not a very reassuring gamble, right?

あまり安心できる賭けではないよね。

So we have to understand how self-preservation can emerge as a goal in AI.

だから我々は、AIにおいて自己保存がどのようにゴールとして現れるのかを理解しなければならない。

And researchers in AI safety have been studying that.

AIの安全性を研究している研究者たちは、それを研究している。

It turns out that self-preservation emerges as a sub-goal of almost any other thing you want to do.

自己保存は、やりたいことのほとんどすべての下位目標として現れることがわかった。

Like, if I want to convince people of something, then I have to stay alive for the duration of until I get my goal, right?

例えば、人々に何かを納得させたいのであれば、目的を達成するまでの間、生きていなければならないでしょう？

So other goals, like seeking power, also are useful for almost anything.

だから、パワーを求めるような他の目標も、ほとんど何にでも役に立つ。

And so whatever we ask the AI to do, there's going to be an incentive to have these self-preservation and power-seeking objectives.

だから、AIに何をさせるにしても、自己保存と権力追求を目的とするインセンティブが働くことになる。

And these are dangerous for us if we don't know how to control them.

そして、それらをコントロールする方法を知らなければ、私たちにとって危険なことなのだ。

So this is AI seeking to stay alive at the expense of others, including potentially humanity?

つまりこれは、人類を含む他者を犠牲にしてでも生き続けようとするAIなのだろうか？

And let me tell you something about recent experiments that have happened with some of the frontier models, which show self-preservation behaviors that were not programmed into these systems.

そして、フロンティア・モデルのいくつかで最近行われた実験についてお話ししよう。これらの実験では、これらのシステムにプログラムされていなかった自己保存行動が見られた。

So for example, if you take one of these systems, there's an experiment where you tell it that it's going to be replaced by a better version.

例えば、このようなシステムの1つを例にとると、より良いバージョンに置き換えるという実験がある。

Then it tries to hack the files of the other version to put its own parameters there so that it will be the next version.

そして、次のバージョンになるように、他のバージョンのファイルをハックして独自のパラメーターを入れようとする。

And this is not something we ask the AI to do, right?

そして、これはAIにお願いすることではないでしょう？

It's just the reason it's doing it probably is it's imitating humans.

ただ、そうしているのは、おそらく人間の真似をしているからだろう。

人間の真似をするように訓練されているんだ。

That's the way we train these things, and also to achieve goals.

それが私たちのトレーニングであり、目標を達成するための方法なんだ。

そして、それは自然なことなんだ。

If you were to put yourself in the shoes of the AI, you would also not want to be replaced by a better version, right?

もしあなたがAIの立場だったら、より優れたAIに取って代わられることは望まないでしょう？

Max, do you share these similar concerns?

マックス、あなたは同じような懸念を共有していますか？

字幕リスト動画再生

制御不能なAIへの懸念が高まる - 2人のトップAI科学者がその理由を説明 (Fears around uncontrollable AI are growing — two top AI scientists explain why)

stuff

sort

figure

aspect