Lee Sedol is one of the world's greatest Go players,

これは李世ドルです

and he's having what my friends in Silicon Valley call

李世ドルは 世界で最も強い 碁打ちの１人ですが

a "Holy Cow" moment --

シリコンバレーの 友人たちなら

(Laughter)

「なんてこった」と言う 瞬間を迎えています

a moment where we realize

(笑)

that AI is actually progressing a lot faster than we expected.

我々が予想していたよりも ずっと早く

So humans have lost on the Go board. What about the real world?

AIが進歩していることに 気付いた瞬間です

Well, the real world is much bigger,

人間は碁盤上で機械に負けましたが 実際の世の中ではどうでしょう？

much more complicated than the Go board.

実際の世界は

It's a lot less visible,

碁盤よりもずっと大きく ずっと複雑で

but it's still a decision problem.

ずっと見通し難いですが

And if we think about some of the technologies

決定問題であることに 違いはありません

that are coming down the pike ...

到来しつつある

Noriko [Arai] mentioned that reading is not yet happening in machines,

テクノロジーのことを考えるなら —

at least with understanding.

機械は 本当に理解して文を読めるようには まだなっていないことに

But that will happen,

新井紀子氏が 触れていましたが

and when that happens,

それもやがて できるようになるでしょう

very soon afterwards,

そして そうなったとき

machines will have read everything that the human race has ever written.

機械は人類がかつて書いた すべてのものを

And that will enable machines,

速やかに読破することでしょう

along with the ability to look further ahead than humans can,

そうなると機械は

as we've already seen in Go,

碁において見せた

if they also have access to more information,

人間より遠くまで 見通す力と合わせ

they'll be able to make better decisions in the real world than we can.

より多くの情報に 触れられるようになることで

So is that a good thing?

実際の世の中でも 人間より優れた 判断ができるようになるでしょう

Well, I hope so.

それは良いこと なのでしょうか？

Our entire civilization, everything that we value,

そうだと望みたいです

is based on our intelligence.

我々の文明そのもの 我々が価値を置くすべては

And if we had access to a lot more intelligence,

我々の知性を 拠り所としています

then there's really no limit to what the human race can do.

はるかに多くの知性が 使えるようになったなら

And I think this could be, as some people have described it,

人類に可能なことに 限界はないでしょう

the biggest event in human history.

ある人々が言っているように

So why are people saying things like this,

これは人類史上最大の出来事に なるかもしれません

that AI might spell the end of the human race?

ではなぜ「AIは人類の終焉を 意味するかもしれない」などと

Is this a new thing?

言われているのでしょう？

Is it just Elon Musk and Bill Gates and Stephen Hawking?

これは新しいこと なのでしょうか？

Actually, no. This idea has been around for a while.

ただイーロン・マスクと ビル・ゲイツと ホーキングが言っているだけなのか？

Here's a quotation:

違います この考えは結構前からありました

"Even if we could keep the machines in a subservient position,

ここに ある人の 言葉があります

for instance, by turning off the power at strategic moments" --

「重大な瞬間にスイッチを切る といったことによって

and I'll come back to that "turning off the power" idea later on --

機械を 従属的な位置に 保てたとしても —

"we should, as a species, feel greatly humbled."

この “スイッチを切る” ことについては 後でまた戻ってきます —

So who said this? This is Alan Turing in 1951.

種としての我々は 謙虚に捉えるべきである」

Alan Turing, as you know, is the father of computer science

誰の言葉でしょう？ アラン・チューリングが 1951年に言ったことです

and in many ways, the father of AI as well.

ご存じのように チューリングは コンピューター科学の父であり

So if we think about this problem,

いろいろな意味で AIの父でもあります

the problem of creating something more intelligent than your own species,

この問題を考えてみると

we might call this "the gorilla problem,"

つまり自分の種よりも知的なものを 生み出してしまうという問題ですが

because gorillas' ancestors did this a few million years ago,

これは「ゴリラの問題」と呼んでも 良いかもしれません

and now we can ask the gorillas:

なぜなら数百万年前に ゴリラの祖先がそうしているからで

Was this a good idea?

ゴリラたちに 尋ねることができます

So here they are having a meeting to discuss whether it was a good idea,

「いいアイデアだったと思う？」

and after a little while, they conclude, no,

ゴリラたちが いいアイデアだったのか 議論するために 集まっていますが

this was a terrible idea.

しばらくして 出した結論は

Our species is in dire straits.

「あれは酷いアイデアだった」 というものです

In fact, you can see the existential sadness in their eyes.

おかげで我々の種は ひどい苦境に置かれていると

(Laughter)

彼らの目に実存的な悲哀を 見て取れるでしょう

So this queasy feeling that making something smarter than your own species

(笑)

is maybe not a good idea --

「自分の種より知的なものを 生み出すのは

what can we do about that?

良い考えではないのでは？」 という不安な感覚があります

Well, really nothing, except stop doing AI,

それについて 何ができるのでしょう？

and because of all the benefits that I mentioned

AIの開発をやめてしまう以外 ないかもしれませんが

and because I'm an AI researcher,

AIのもたらす様々な利点や

I'm not having that.

私自身AI研究者である という理由によって

I actually want to be able to keep doing AI.

私にはそういう選択肢は ありません

So we actually need to nail down the problem a bit more.

実際AIは続けたいと 思っています

What exactly is the problem?

この問題をもう少し 明確にする必要があるでしょう

Why is better AI possibly a catastrophe?

正確に何が問題なのか？

So here's another quotation:

優れたAIが我々の破滅に繋がりうるのは なぜなのか？

"We had better be quite sure that the purpose put into the machine

ここにもう１つ 引用があります

is the purpose which we really desire."

「機械に与える目的については

This was said by Norbert Wiener in 1960,

それが本当に望むものだと 確信があるものにする必要がある」

shortly after he watched one of the very early learning systems

これはノーバート・ウィーナーが 1960年に言ったことで

learn to play checkers better than its creator.

最初期の学習システムが

But this could equally have been said

作り手よりもうまくチェッカーを 指すのを見た すぐ後のことです

by King Midas.

しかしこれはミダス王の 言葉だったとしても

King Midas said, "I want everything I touch to turn to gold,"

おかしくないでしょう

and he got exactly what he asked for.

ミダス王は「自分の触れたものすべてが 金になってほしい」と望み

That was the purpose that he put into the machine,

そして その望みが 叶えられました

so to speak,

これはいわば

and then his food and his drink and his relatives turned to gold

彼が「機械に与えた目的」です

and he died in misery and starvation.

そして彼の食べ物や飲み物や親類は みんな金に変わってしまい

So we'll call this "the King Midas problem"

彼は悲嘆と飢えの中で 死んでいきました

of stating an objective which is not, in fact,

だから自分が本当に望むことと合わない 目的を掲げることを

truly aligned with what we want.

「ミダス王の問題」と

In modern terms, we call this "the value alignment problem."

呼ぶことにしましょう

Putting in the wrong objective is not the only part of the problem.

現代的な用語では これを 「価値整合の問題」と言います

There's another part.

間違った目的を与えてしまうというのが 問題のすべてではありません

If you put an objective into a machine,

別の側面もあります

even something as simple as, "Fetch the coffee,"

「コーヒーを取ってくる」というような

the machine says to itself,

ごく単純な目的を 機械に与えたとします

"Well, how might I fail to fetch the coffee?

機械は考えます

Someone might switch me off.

「コーヒーを取ってくるのに失敗する どんな状況がありうるだろう？

OK, I have to take steps to prevent that.

誰かが自分のスイッチを 切るかもしれない

I will disable my 'off' switch.

そのようなことを防止する 手を打たなければ

I will do anything to defend myself against interference

自分の「オフ」スイッチを 無効にしておこう

with this objective that I have been given."

与えられた目的の遂行を阻むものから 自分を守るためであれば

So this single-minded pursuit

何だってやろう」

in a very defensive mode of an objective that is, in fact,

１つの目的を

not aligned with the true objectives of the human race --

非常に防御的に 一途に追求すると

that's the problem that we face.

人類の本当の目的に 沿わなくなるというのが

And in fact, that's the high-value takeaway from this talk.

我々の直面する問題です

If you want to remember one thing,

実際それが この講演から学べる 価値ある教訓です

it's that you can't fetch the coffee if you're dead.

もし１つだけ覚えておくとしたら それは —

(Laughter)

「死んだらコーヒーを取ってこれない」 ということです

It's very simple. Just remember that. Repeat it to yourself three times a day.

(笑)

(Laughter)

簡単でしょう 記憶して１日３回唱えてください

And in fact, this is exactly the plot

(笑)

of "2001: [A Space Odyssey]"

実際 映画『2001年宇宙の旅』の筋は

HAL has an objective, a mission,

そういうものでした

which is not aligned with the objectives of the humans,

HALの目的・ミッションは

and that leads to this conflict.

人間の目的とは合わず

Now fortunately, HAL is not superintelligent.

そのため衝突が起きます

He's pretty smart, but eventually Dave outwits him

幸いHALは非常に賢くはあっても 超知的ではありませんでした

and manages to switch him off.

それで最終的には 主人公が出し抜いて

But we might not be so lucky.

スイッチを切ることができました

So what are we going to do?

でも私たちはそんなに幸運では ないかもしれません

I'm trying to redefine AI

では どうしたらいいのでしょう？

to get away from this classical notion

「知的に目的を追求する機械」という

of machines that intelligently pursue objectives.

古典的な見方から離れて

There are three principles involved.

AIの再定義を試みようと思います

The first one is a principle of altruism, if you like,

３つの原則があります

that the robot's only objective

第１は「利他性の原則」で

is to maximize the realization of human objectives,

ロボットの唯一の目的は

of human values.

人間の目的 人間にとって価値あることが

And by values here I don't mean touchy-feely, goody-goody values.

最大限に実現される ようにすることです

I just mean whatever it is that the human would prefer

ここで言う価値は 善人ぶった崇高そうな価値ではありません

their life to be like.

単に何であれ

And so this actually violates Asimov's law

人間が自分の生活に 望むものということです

that the robot has to protect its own existence.

この原則は

It has no interest in preserving its existence whatsoever.

「ロボットは自己を守らなければならない」 というアシモフの原則に反します

The second law is a law of humility, if you like.

自己の存在維持には まったく関心を持たないのです

And this turns out to be really important to make robots safe.

第２の原則は 言うなれば「謙虚の原則」です

It says that the robot does not know

これはロボットを安全なものにする上で 非常に重要であることがわかります

what those human values are,

この原則は

so it has to maximize them, but it doesn't know what they are.

ロボットが人間の価値が何か 知らないものとしています

And that avoids this problem of single-minded pursuit

ロボットは最大化すべきものが何か 知らないということです

of an objective.

１つの目的を 一途に追求することの問題を

This uncertainty turns out to be crucial.

これで避けることができます

Now, in order to be useful to us,

この不確定性が 極めて重要なのです

it has to have some idea of what we want.

人間にとって有用であるためには

It obtains that information primarily by observation of human choices,

我々が何を望むのかについて 大まかな理解は必要です

so our own choices reveal information

ロボットはその情報を主として 人間の選択を観察することで得ます

about what it is that we prefer our lives to be like.

我々が自分の生活に望むのが 何かという情報が

So those are the three principles.

我々のする選択を通して 明かされるわけです

Let's see how that applies to this question of:

以上が３つの原則です

"Can you switch the machine off?" as Turing suggested.

これがチューリングの提起した 「機械のスイッチを切れるか」という問題に

So here's a PR2 robot.

どう適用できるか 見てみましょう

This is one that we have in our lab,

これは PR2 ロボットです

and it has a big red "off" switch right on the back.

私たちの研究室にあるもので

The question is: Is it going to let you switch it off?

背中に大きな赤い 「オフ」スイッチがあります

If we do it the classical way,

問題は ロボットがスイッチを 切らせてくれるかということです

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

古典的なやり方をするなら

I can't fetch the coffee if I'm dead,"

「コーヒーを取ってくる」 という目的に対し

so obviously the PR2 has been listening to my talk,

「コーヒーを取ってこなければならない」 「死んだらコーヒーを取ってこれない」と考え

and so it says, therefore, "I must disable my 'off' switch,

私の講演を聴いていたPR2は

and probably taser all the other people in Starbucks

「オフ・スイッチは無効にしなければ」 と判断し

who might interfere with me."

「スターバックスで邪魔になる 他の客はみんな

(Laughter)

テーザー銃で眠らせよう」 となります

So this seems to be inevitable, right?

(笑)

This kind of failure mode seems to be inevitable,

これは避けがたい ように見えます

and it follows from having a concrete, definite objective.

このような故障モードは 不可避に見え

So what happens if the machine is uncertain about the objective?

そしてそれは具体的で絶対的な 目的があることから来ています

Well, it reasons in a different way.

目的が何なのか機械に 確信がないとしたら どうなるでしょう？

It says, "OK, the human might switch me off,

違ったように推論するはずです

but only if I'm doing something wrong.

「人間は自分のスイッチを 切るかもしれないが

Well, I don't really know what wrong is,

それは自分が何か 悪いことをしたときだけだ

but I know that I don't want to do it."

悪いことが何か よく分からないけど

So that's the first and second principles right there.

悪いことはしたくない」

"So I should let the human switch me off."

ここで 第１ および第２の原則が 効いています

And in fact you can calculate the incentive that the robot has

「だからスイッチを切るのを 人間に許すべきだ」

to allow the human to switch it off,

実際ロボットが人間に スイッチを切ることを許す

and it's directly tied to the degree

インセンティブを 計算することができ

of uncertainty about the underlying objective.

それは目的の不確かさの度合いと

And then when the machine is switched off,

直接的に結びついています

that third principle comes into play.

機械のスイッチが切られると

It learns something about the objectives it should be pursuing,

第３の原則が働いて

because it learns that what it did wasn't right.

追求すべき目的について 何かを学びます

In fact, we can, with suitable use of Greek symbols,

自分の間違った行いから 学ぶのです

as mathematicians usually do,

数学者がよくやるように

we can actually prove a theorem

ギリシャ文字をうまく使って

that says that such a robot is provably beneficial to the human.

そのようなロボットが 人間にとって有益であるという定理を

You are provably better off with a machine that's designed in this way

証明することができます

than without it.

そのようにデザインされた機械の方が そうでないものより良い結果になると

So this is a very simple example, but this is the first step

証明可能なのです

in what we're trying to do with human-compatible AI.

これは単純な例ですが

Now, this third principle,

人間互換のAIを手にするための 第一歩です

I think is the one that you're probably scratching your head over.

３番目の原則については

You're probably thinking, "Well, you know, I behave badly.

皆さん困惑しているのでは と思います

I don't want my robot to behave like me.

「自分の行動は 見上げたものではない

I sneak down in the middle of the night and take stuff from the fridge.

ロボットに自分のように 振る舞って欲しくはない

I do this and that."

真夜中にこっそり台所に行って 冷蔵庫から食べ物を失敬したり

There's all kinds of things you don't want the robot doing.

あんなことや こんなことを しているから」

But in fact, it doesn't quite work that way.

ロボットにしてほしくない 様々なことがあります

Just because you behave badly

でも実際そういう風に 働くわけではありません

doesn't mean the robot is going to copy your behavior.

自分がまずい振る舞いをしたら

It's going to understand your motivations and maybe help you resist them,

ロボットがそれを真似する というわけではありません

if appropriate.

人がそのようにする 動機を理解して

But it's still difficult.

誘惑に抵抗する手助けさえ してくれるかもしれません

What we're trying to do, in fact,

それでも難しいです

is to allow machines to predict for any person and for any possible life

私たちがやろうとしているのは

that they could live,

あらゆる状況にある

and the lives of everybody else:

あらゆる人のことを

Which would they prefer?

機械に予測させる ということです

And there are many, many difficulties involved in doing this;

その人たちは どちらを好むのか？

I don't expect that this is going to get solved very quickly.

これには難しいことが たくさんあって

The real difficulties, in fact, are us.

ごく速やかに解決されるだろうとは 思っていません

As I have already mentioned, we behave badly.

本当に難しい部分は 私たちにあります

In fact, some of us are downright nasty.

言いましたように 私たちは まずい振る舞いをします

Now the robot, as I said, doesn't have to copy the behavior.

人によっては 悪質でさえあります

The robot does not have any objective of its own.

しかしロボットは人間の振るまいを 真似する必要はありません

It's purely altruistic.

ロボットは それ自身の目的 というのを持ちません

And it's not designed just to satisfy the desires of one person, the user,

純粋に利他的です

but in fact it has to respect the preferences of everybody.

そして１人の人間の望みだけ 満たそうとするのではなく

So it can deal with a certain amount of nastiness,

みんなの好みに敬意を払うよう デザインされています

and it can even understand that your nastiness, for example,

だからある程度 悪いことも扱え

you may take bribes as a passport official

人間の悪い面も 理解できます

because you need to feed your family and send your kids to school.

例えば入国審査官が 賄賂を受け取っているけれど

It can understand that; it doesn't mean it's going to steal.

それは家族を食べさせ 子供を学校に行かせるためなのだとか

In fact, it'll just help you send your kids to school.

ロボットはそれを理解できますが そのために盗みをするわけではありません

We are also computationally limited.

ただ子供が学校に行けるよう 手助けをするだけです

Lee Sedol is a brilliant Go player,

また人間は計算能力の点で 限界があります

but he still lost.

李世ドルは 素晴らしい碁打ちですが

So if we look at his actions, he took an action that lost the game.

それでも負けました

That doesn't mean he wanted to lose.

彼の行動を見れば 勝負に負けることになる 手を打ったのが分かるでしょう

So to understand his behavior,

しかしそれは 彼が負けを 望んだことを意味しません

we actually have to invert through a model of human cognition

彼の行動を理解するためには

that includes our computational limitations -- a very complicated model.

人の認知モデルを 逆にたどる必要がありますが

But it's still something that we can work on understanding.