Placeholder Image

字幕表 動画を再生する

  • This is Lee Sedol.

    翻訳: Yasushi Aoki 校正: Yuko Yoshida

  • Lee Sedol is one of the world's greatest Go players,

    これは李世ドルです

  • and he's having what my friends in Silicon Valley call

    李世ドルは 世界で最も強い 碁打ちの1人ですが

  • a "Holy Cow" moment --

    シリコンバレーの 友人たちなら

  • (Laughter)

    「なんてこった」と言う 瞬間を迎えています

  • a moment where we realize

    (笑)

  • that AI is actually progressing a lot faster than we expected.

    我々が予想していたよりも ずっと早く

  • So humans have lost on the Go board. What about the real world?

    AIが進歩していることに 気付いた瞬間です

  • Well, the real world is much bigger,

    人間は碁盤上で機械に負けましたが 実際の世の中ではどうでしょう?

  • much more complicated than the Go board.

    実際の世界は

  • It's a lot less visible,

    碁盤よりもずっと大きく ずっと複雑で

  • but it's still a decision problem.

    ずっと見通し難いですが

  • And if we think about some of the technologies

    決定問題であることに 違いはありません

  • that are coming down the pike ...

    到来しつつある

  • Noriko [Arai] mentioned that reading is not yet happening in machines,

    テクノロジーのことを考えるなら —

  • at least with understanding.

    機械は 本当に理解して文を読めるようには まだなっていないことに

  • But that will happen,

    新井紀子氏が 触れていましたが

  • and when that happens,

    それもやがて できるようになるでしょう

  • very soon afterwards,

    そして そうなったとき

  • machines will have read everything that the human race has ever written.

    機械は人類がかつて書いた すべてのものを

  • And that will enable machines,

    速やかに読破することでしょう

  • along with the ability to look further ahead than humans can,

    そうなると機械は

  • as we've already seen in Go,

    碁において見せた

  • if they also have access to more information,

    人間より遠くまで 見通す力と合わせ

  • they'll be able to make better decisions in the real world than we can.

    より多くの情報に 触れられるようになることで

  • So is that a good thing?

    実際の世の中でも 人間より優れた 判断ができるようになるでしょう

  • Well, I hope so.

    それは良いこと なのでしょうか?

  • Our entire civilization, everything that we value,

    そうだと望みたいです

  • is based on our intelligence.

    我々の文明そのもの 我々が価値を置くすべては

  • And if we had access to a lot more intelligence,

    我々の知性を 拠り所としています

  • then there's really no limit to what the human race can do.

    はるかに多くの知性が 使えるようになったなら

  • And I think this could be, as some people have described it,

    人類に可能なことに 限界はないでしょう

  • the biggest event in human history.

    ある人々が言っているように

  • So why are people saying things like this,

    これは人類史上最大の出来事に なるかもしれません

  • that AI might spell the end of the human race?

    ではなぜ「AIは人類の終焉を 意味するかもしれない」などと

  • Is this a new thing?

    言われているのでしょう?

  • Is it just Elon Musk and Bill Gates and Stephen Hawking?

    これは新しいこと なのでしょうか?

  • Actually, no. This idea has been around for a while.

    ただイーロン・マスクと ビル・ゲイツと ホーキングが言っているだけなのか?

  • Here's a quotation:

    違います この考えは結構前からありました

  • "Even if we could keep the machines in a subservient position,

    ここに ある人の 言葉があります

  • for instance, by turning off the power at strategic moments" --

    「重大な瞬間にスイッチを切る といったことによって

  • and I'll come back to that "turning off the power" idea later on --

    機械を 従属的な位置に 保てたとしても —

  • "we should, as a species, feel greatly humbled."

    この “スイッチを切る” ことについては 後でまた戻ってきます —

  • So who said this? This is Alan Turing in 1951.

    種としての我々は 謙虚に捉えるべきである」

  • Alan Turing, as you know, is the father of computer science

    誰の言葉でしょう? アラン・チューリングが 1951年に言ったことです

  • and in many ways, the father of AI as well.

    ご存じのように チューリングは コンピューター科学の父であり

  • So if we think about this problem,

    いろいろな意味で AIの父でもあります

  • the problem of creating something more intelligent than your own species,

    この問題を考えてみると

  • we might call this "the gorilla problem,"

    つまり自分の種よりも知的なものを 生み出してしまうという問題ですが

  • because gorillas' ancestors did this a few million years ago,

    これは「ゴリラの問題」と呼んでも 良いかもしれません

  • and now we can ask the gorillas:

    なぜなら数百万年前に ゴリラの祖先がそうしているからで

  • Was this a good idea?

    ゴリラたちに 尋ねることができます

  • So here they are having a meeting to discuss whether it was a good idea,

    「いいアイデアだったと思う?」

  • and after a little while, they conclude, no,

    ゴリラたちが いいアイデアだったのか 議論するために 集まっていますが

  • this was a terrible idea.

    しばらくして 出した結論は

  • Our species is in dire straits.

    「あれは酷いアイデアだった」 というものです

  • In fact, you can see the existential sadness in their eyes.

    おかげで我々の種は ひどい苦境に置かれていると

  • (Laughter)

    彼らの目に実存的な悲哀を 見て取れるでしょう

  • So this queasy feeling that making something smarter than your own species

    (笑)

  • is maybe not a good idea --

    「自分の種より知的なものを 生み出すのは

  • what can we do about that?

    良い考えではないのでは?」 という不安な感覚があります

  • Well, really nothing, except stop doing AI,

    それについて 何ができるのでしょう?

  • and because of all the benefits that I mentioned

    AIの開発をやめてしまう以外 ないかもしれませんが

  • and because I'm an AI researcher,

    AIのもたらす様々な利点や

  • I'm not having that.

    私自身AI研究者である という理由によって

  • I actually want to be able to keep doing AI.

    私にはそういう選択肢は ありません

  • So we actually need to nail down the problem a bit more.

    実際AIは続けたいと 思っています

  • What exactly is the problem?

    この問題をもう少し 明確にする必要があるでしょう

  • Why is better AI possibly a catastrophe?

    正確に何が問題なのか?

  • So here's another quotation:

    優れたAIが我々の破滅に繋がりうるのは なぜなのか?

  • "We had better be quite sure that the purpose put into the machine

    ここにもう1つ 引用があります

  • is the purpose which we really desire."

    「機械に与える目的については

  • This was said by Norbert Wiener in 1960,

    それが本当に望むものだと 確信があるものにする必要がある」

  • shortly after he watched one of the very early learning systems

    これはノーバート・ウィーナーが 1960年に言ったことで

  • learn to play checkers better than its creator.

    最初期の学習システムが

  • But this could equally have been said

    作り手よりもうまくチェッカーを 指すのを見た すぐ後のことです

  • by King Midas.

    しかしこれはミダス王の 言葉だったとしても

  • King Midas said, "I want everything I touch to turn to gold,"

    おかしくないでしょう

  • and he got exactly what he asked for.

    ミダス王は「自分の触れたものすべてが 金になってほしい」と望み

  • That was the purpose that he put into the machine,

    そして その望みが 叶えられました

  • so to speak,

    これはいわば

  • and then his food and his drink and his relatives turned to gold

    彼が「機械に与えた目的」です

  • and he died in misery and starvation.

    そして彼の食べ物や飲み物や親類は みんな金に変わってしまい

  • So we'll call this "the King Midas problem"

    彼は悲嘆と飢えの中で 死んでいきました

  • of stating an objective which is not, in fact,

    だから自分が本当に望むことと合わない 目的を掲げることを

  • truly aligned with what we want.

    「ミダス王の問題」と

  • In modern terms, we call this "the value alignment problem."

    呼ぶことにしましょう

  • Putting in the wrong objective is not the only part of the problem.

    現代的な用語では これを 「価値整合の問題」と言います

  • There's another part.

    間違った目的を与えてしまうというのが 問題のすべてではありません

  • If you put an objective into a machine,

    別の側面もあります

  • even something as simple as, "Fetch the coffee,"

    「コーヒーを取ってくる」というような

  • the machine says to itself,

    ごく単純な目的を 機械に与えたとします

  • "Well, how might I fail to fetch the coffee?

    機械は考えます

  • Someone might switch me off.

    「コーヒーを取ってくるのに失敗する どんな状況がありうるだろう?

  • OK, I have to take steps to prevent that.

    誰かが自分のスイッチを 切るかもしれない

  • I will disable my 'off' switch.

    そのようなことを防止する 手を打たなければ

  • I will do anything to defend myself against interference

    自分の「オフ」スイッチを 無効にしておこう

  • with this objective that I have been given."

    与えられた目的の遂行を阻むものから 自分を守るためであれば

  • So this single-minded pursuit

    何だってやろう」

  • in a very defensive mode of an objective that is, in fact,

    1つの目的を

  • not aligned with the true objectives of the human race --

    非常に防御的に 一途に追求すると

  • that's the problem that we face.

    人類の本当の目的に 沿わなくなるというのが

  • And in fact, that's the high-value takeaway from this talk.

    我々の直面する問題です

  • If you want to remember one thing,

    実際それが この講演から学べる 価値ある教訓です

  • it's that you can't fetch the coffee if you're dead.

    もし1つだけ覚えておくとしたら それは —

  • (Laughter)

    「死んだらコーヒーを取ってこれない」 ということです

  • It's very simple. Just remember that. Repeat it to yourself three times a day.

    (笑)

  • (Laughter)

    簡単でしょう 記憶して1日3回唱えてください

  • And in fact, this is exactly the plot

    (笑)

  • of "2001: [A Space Odyssey]"

    実際 映画『2001年宇宙の旅』の筋は

  • HAL has an objective, a mission,

    そういうものでした

  • which is not aligned with the objectives of the humans,

    HALの目的・ミッションは

  • and that leads to this conflict.

    人間の目的とは合わず

  • Now fortunately, HAL is not superintelligent.

    そのため衝突が起きます

  • He's pretty smart, but eventually Dave outwits him

    幸いHALは非常に賢くはあっても 超知的ではありませんでした

  • and manages to switch him off.

    それで最終的には 主人公が出し抜いて

  • But we might not be so lucky.

    スイッチを切ることができました

  • So what are we going to do?

    でも私たちはそんなに幸運では ないかもしれません

  • I'm trying to redefine AI

    では どうしたらいいのでしょう?

  • to get away from this classical notion

    「知的に目的を追求する機械」という

  • of machines that intelligently pursue objectives.

    古典的な見方から離れて

  • There are three principles involved.

    AIの再定義を試みようと思います

  • The first one is a principle of altruism, if you like,

    3つの原則があります

  • that the robot's only objective

    第1は「利他性の原則」で

  • is to maximize the realization of human objectives,

    ロボットの唯一の目的は

  • of human values.

    人間の目的 人間にとって価値あることが

  • And by values here I don't mean touchy-feely, goody-goody values.

    最大限に実現される ようにすることです

  • I just mean whatever it is that the human would prefer

    ここで言う価値は 善人ぶった崇高そうな価値ではありません

  • their life to be like.

    単に何であれ

  • And so this actually violates Asimov's law

    人間が自分の生活に 望むものということです

  • that the robot has to protect its own existence.

    この原則は

  • It has no interest in preserving its existence whatsoever.

    「ロボットは自己を守らなければならない」 というアシモフの原則に反します

  • The second law is a law of humility, if you like.

    自己の存在維持には まったく関心を持たないのです

  • And this turns out to be really important to make robots safe.

    第2の原則は 言うなれば「謙虚の原則」です

  • It says that the robot does not know

    これはロボットを安全なものにする上で 非常に重要であることがわかります

  • what those human values are,

    この原則は

  • so it has to maximize them, but it doesn't know what they are.

    ロボットが人間の価値が何か 知らないものとしています

  • And that avoids this problem of single-minded pursuit

    ロボットは最大化すべきものが何か 知らないということです

  • of an objective.

    1つの目的を 一途に追求することの問題を

  • This uncertainty turns out to be crucial.

    これで避けることができます

  • Now, in order to be useful to us,

    この不確定性が 極めて重要なのです

  • it has to have some idea of what we want.

    人間にとって有用であるためには

  • It obtains that information primarily by observation of human choices,

    我々が何を望むのかについて 大まかな理解は必要です

  • so our own choices reveal information

    ロボットはその情報を主として 人間の選択を観察することで得ます

  • about what it is that we prefer our lives to be like.

    我々が自分の生活に望むのが 何かという情報が

  • So those are the three principles.

    我々のする選択を通して 明かされるわけです

  • Let's see how that applies to this question of:

    以上が3つの原則です

  • "Can you switch the machine off?" as Turing suggested.

    これがチューリングの提起した 「機械のスイッチを切れるか」という問題に

  • So here's a PR2 robot.

    どう適用できるか 見てみましょう

  • This is one that we have in our lab,

    これは PR2 ロボットです

  • and it has a big red "off" switch right on the back.

    私たちの研究室にあるもので

  • The question is: Is it going to let you switch it off?

    背中に大きな赤い 「オフ」スイッチがあります

  • If we do it the classical way,

    問題は ロボットがスイッチを 切らせてくれるかということです

  • we give it the objective of, "Fetch the coffee, I must fetch the coffee,

    古典的なやり方をするなら

  • I can't fetch the coffee if I'm dead,"

    「コーヒーを取ってくる」 という目的に対し

  • so obviously the PR2 has been listening to my talk,

    「コーヒーを取ってこなければならない」 「死んだらコーヒーを取ってこれない」と考え

  • and so it says, therefore, "I must disable my 'off' switch,

    私の講演を聴いていたPR2は

  • and probably taser all the other people in Starbucks

    「オフ・スイッチは無効にしなければ」 と判断し

  • who might interfere with me."

    「スターバックスで邪魔になる 他の客はみんな

  • (Laughter)

    テーザー銃で眠らせよう」 となります

  • So this seems to be inevitable, right?

    (笑)

  • This kind of failure mode seems to be inevitable,

    これは避けがたい ように見えます

  • and it follows from having a concrete, definite objective.

    このような故障モードは 不可避に見え

  • So what happens if the machine is uncertain about the objective?

    そしてそれは具体的で絶対的な 目的があることから来ています

  • Well, it reasons in a different way.

    目的が何なのか機械に 確信がないとしたら どうなるでしょう?

  • It says, "OK, the human might switch me off,

    違ったように推論するはずです

  • but only if I'm doing something wrong.

    「人間は自分のスイッチを 切るかもしれないが

  • Well, I don't really know what wrong is,

    それは自分が何か 悪いことをしたときだけだ

  • but I know that I don't want to do it."

    悪いことが何か よく分からないけど

  • So that's the first and second principles right there.

    悪いことはしたくない」

  • "So I should let the human switch me off."

    ここで 第1 および第2の原則が 効いています

  • And in fact you can calculate the incentive that the robot has

    「だからスイッチを切るのを 人間に許すべきだ」

  • to allow the human to switch it off,

    実際ロボットが人間に スイッチを切ることを許す

  • and it's directly tied to the degree

    インセンティブを 計算することができ

  • of uncertainty about the underlying objective.

    それは目的の不確かさの度合いと

  • And then when the machine is switched off,

    直接的に結びついています

  • that third principle comes into play.

    機械のスイッチが切られると

  • It learns something about the objectives it should be pursuing,

    第3の原則が働いて

  • because it learns that what it did wasn't right.

    追求すべき目的について 何かを学びます

  • In fact, we can, with suitable use of Greek symbols,

    自分の間違った行いから 学ぶのです

  • as mathematicians usually do,

    数学者がよくやるように

  • we can actually prove a theorem

    ギリシャ文字をうまく使って

  • that says that such a robot is provably beneficial to the human.

    そのようなロボットが 人間にとって有益であるという定理を

  • You are provably better off with a machine that's designed in this way

    証明することができます

  • than without it.

    そのようにデザインされた機械の方が そうでないものより良い結果になると

  • So this is a very simple example, but this is the first step

    証明可能なのです

  • in what we're trying to do with human-compatible AI.

    これは単純な例ですが

  • Now, this third principle,

    人間互換のAIを手にするための 第一歩です

  • I think is the one that you're probably scratching your head over.

    3番目の原則については

  • You're probably thinking, "Well, you know, I behave badly.

    皆さん困惑しているのでは と思います

  • I don't want my robot to behave like me.

    「自分の行動は 見上げたものではない

  • I sneak down in the middle of the night and take stuff from the fridge.

    ロボットに自分のように 振る舞って欲しくはない

  • I do this and that."

    真夜中にこっそり台所に行って 冷蔵庫から食べ物を失敬したり

  • There's all kinds of things you don't want the robot doing.

    あんなことや こんなことを しているから」

  • But in fact, it doesn't quite work that way.

    ロボットにしてほしくない 様々なことがあります

  • Just because you behave badly

    でも実際そういう風に 働くわけではありません

  • doesn't mean the robot is going to copy your behavior.

    自分がまずい振る舞いをしたら

  • It's going to understand your motivations and maybe help you resist them,

    ロボットがそれを真似する というわけではありません

  • if appropriate.

    人がそのようにする 動機を理解して

  • But it's still difficult.

    誘惑に抵抗する手助けさえ してくれるかもしれません

  • What we're trying to do, in fact,

    それでも難しいです

  • is to allow machines to predict for any person and for any possible life

    私たちがやろうとしているのは

  • that they could live,

    あらゆる状況にある

  • and the lives of everybody else:

    あらゆる人のことを

  • Which would they prefer?

    機械に予測させる ということです

  • And there are many, many difficulties involved in doing this;

    その人たちは どちらを好むのか?

  • I don't expect that this is going to get solved very quickly.

    これには難しいことが たくさんあって

  • The real difficulties, in fact, are us.

    ごく速やかに解決されるだろうとは 思っていません

  • As I have already mentioned, we behave badly.

    本当に難しい部分は 私たちにあります

  • In fact, some of us are downright nasty.

    言いましたように 私たちは まずい振る舞いをします

  • Now the robot, as I said, doesn't have to copy the behavior.

    人によっては 悪質でさえあります

  • The robot does not have any objective of its own.

    しかしロボットは人間の振るまいを 真似する必要はありません

  • It's purely altruistic.

    ロボットは それ自身の目的 というのを持ちません

  • And it's not designed just to satisfy the desires of one person, the user,

    純粋に利他的です

  • but in fact it has to respect the preferences of everybody.

    そして1人の人間の望みだけ 満たそうとするのではなく

  • So it can deal with a certain amount of nastiness,

    みんなの好みに敬意を払うよう デザインされています

  • and it can even understand that your nastiness, for example,

    だからある程度 悪いことも扱え

  • you may take bribes as a passport official

    人間の悪い面も 理解できます

  • because you need to feed your family and send your kids to school.

    例えば入国審査官が 賄賂を受け取っているけれど

  • It can understand that; it doesn't mean it's going to steal.

    それは家族を食べさせ 子供を学校に行かせるためなのだとか

  • In fact, it'll just help you send your kids to school.

    ロボットはそれを理解できますが そのために盗みをするわけではありません

  • We are also computationally limited.

    ただ子供が学校に行けるよう 手助けをするだけです

  • Lee Sedol is a brilliant Go player,

    また人間は計算能力の点で 限界があります

  • but he still lost.

    李世ドルは 素晴らしい碁打ちですが

  • So if we look at his actions, he took an action that lost the game.

    それでも負けました

  • That doesn't mean he wanted to lose.

    彼の行動を見れば 勝負に負けることになる 手を打ったのが分かるでしょう

  • So to understand his behavior,

    しかしそれは 彼が負けを 望んだことを意味しません

  • we actually have to invert through a model of human cognition

    彼の行動を理解するためには

  • that includes our computational limitations -- a very complicated model.

    人の認知モデルを 逆にたどる必要がありますが

  • But it's still something that we can work on understanding.

    それは計算能力の限界も含む とても複雑なモデルです

  • Probably the most difficult part, from my point of view as an AI researcher,

    それでも私たちが理解すべく 取り組めるものではあります

  • is the fact that there are lots of us,

    AI研究者として見たとき 最も難しいと思える部分は

  • and so the machine has to somehow trade off, weigh up the preferences

    私たち人間が 沢山いるということです

  • of many different people,

    だから機械は トレードオフを考え

  • and there are different ways to do that.

    沢山の異なる人間の好みを 比較考量する必要があり

  • Economists, sociologists, moral philosophers have understood that,

    それには いろいろな やり方があります

  • and we are actively looking for collaboration.

    経済学者 社会学者 倫理学者は そういうことを分かっており

  • Let's have a look and see what happens when you get that wrong.

    私たちは協同の道を 探っています

  • So you can have a conversation, for example,

    そこをうまくやらないと どうなるか見てみましょう

  • with your intelligent personal assistant

    たとえばこんな会話を 考えてみます

  • that might be available in a few years' time.

    知的な秘書AIが

  • Think of a Siri on steroids.

    数年内に利用可能に なるかもしれません

  • So Siri says, "