Placeholder Image

字幕表 動画を再生する

  • This is Lee Sedol.

    翻訳: Yasushi Aoki 校正: Yuko Yoshida

  • Lee Sedol is one of the world's greatest Go players,

    これは李世ドルです

  • and he's having what my friends in Silicon Valley call

    李世ドルは 世界で最も強い 碁打ちの1人ですが

  • a "Holy Cow" moment --

    シリコンバレーの 友人たちなら

  • (Laughter)

    「なんてこった」と言う 瞬間を迎えています

  • a moment where we realize

    (笑)

  • that AI is actually progressing a lot faster than we expected.

    我々が予想していたよりも ずっと早く

  • So humans have lost on the Go board. What about the real world?

    AIが進歩していることに 気付いた瞬間です

  • Well, the real world is much bigger,

    人間は碁盤上で機械に負けましたが 実際の世の中ではどうでしょう?

  • much more complicated than the Go board.

    実際の世界は

  • It's a lot less visible,

    碁盤よりもずっと大きく ずっと複雑で

  • but it's still a decision problem.

    ずっと見通し難いですが

  • And if we think about some of the technologies

    決定問題であることに 違いはありません

  • that are coming down the pike ...

    到来しつつある

  • Noriko [Arai] mentioned that reading is not yet happening in machines,

    テクノロジーのことを考えるなら —

  • at least with understanding.

    機械は 本当に理解して文を読めるようには まだなっていないことに

  • But that will happen,

    新井紀子氏が 触れていましたが

  • and when that happens,

    それもやがて できるようになるでしょう

  • very soon afterwards,

    そして そうなったとき

  • machines will have read everything that the human race has ever written.

    機械は人類がかつて書いた すべてのものを

  • And that will enable machines,

    速やかに読破することでしょう

  • along with the ability to look further ahead than humans can,

    そうなると機械は

  • as we've already seen in Go,

    碁において見せた

  • if they also have access to more information,

    人間より遠くまで 見通す力と合わせ

  • they'll be able to make better decisions in the real world than we can.

    より多くの情報に 触れられるようになることで

  • So is that a good thing?

    実際の世の中でも 人間より優れた 判断ができるようになるでしょう

  • Well, I hope so.

    それは良いこと なのでしょうか?

  • Our entire civilization, everything that we value,

    そうだと望みたいです

  • is based on our intelligence.

    我々の文明そのもの 我々が価値を置くすべては

  • And if we had access to a lot more intelligence,

    我々の知性を 拠り所としています

  • then there's really no limit to what the human race can do.

    はるかに多くの知性が 使えるようになったなら

  • And I think this could be, as some people have described it,

    人類に可能なことに 限界はないでしょう

  • the biggest event in human history.

    ある人々が言っているように

  • So why are people saying things like this,

    これは人類史上最大の出来事に なるかもしれません

  • that AI might spell the end of the human race?

    ではなぜ「AIは人類の終焉を 意味するかもしれない」などと

  • Is this a new thing?

    言われているのでしょう?

  • Is it just Elon Musk and Bill Gates and Stephen Hawking?

    これは新しいこと なのでしょうか?

  • Actually, no. This idea has been around for a while.

    ただイーロン・マスクと ビル・ゲイツと ホーキングが言っているだけなのか?

  • Here's a quotation:

    違います この考えは結構前からありました

  • "Even if we could keep the machines in a subservient position,

    ここに ある人の 言葉があります

  • for instance, by turning off the power at strategic moments" --

    「重大な瞬間にスイッチを切る といったことによって

  • and I'll come back to that "turning off the power" idea later on --

    機械を 従属的な位置に 保てたとしても —

  • "we should, as a species, feel greatly humbled."

    この “スイッチを切る” ことについては 後でまた戻ってきます —

  • So who said this? This is Alan Turing in 1951.

    種としての我々は 謙虚に捉えるべきである」

  • Alan Turing, as you know, is the father of computer science

    誰の言葉でしょう? アラン・チューリングが 1951年に言ったことです

  • and in many ways, the father of AI as well.

    ご存じのように チューリングは コンピューター科学の父であり

  • So if we think about this problem,

    いろいろな意味で AIの父でもあります

  • the problem of creating something more intelligent than your own species,

    この問題を考えてみると

  • we might call this "the gorilla problem,"

    つまり自分の種よりも知的なものを 生み出してしまうという問題ですが

  • because gorillas' ancestors did this a few million years ago,

    これは「ゴリラの問題」と呼んでも 良いかもしれません

  • and now we can ask the gorillas:

    なぜなら数百万年前に ゴリラの祖先がそうしているからで

  • Was this a good idea?

    ゴリラたちに 尋ねることができます

  • So here they are having a meeting to discuss whether it was a good idea,

    「いいアイデアだったと思う?」

  • and after a little while, they conclude, no,

    ゴリラたちが いいアイデアだったのか 議論するために 集まっていますが

  • this was a terrible idea.

    しばらくして 出した結論は

  • Our species is in dire straits.

    「あれは酷いアイデアだった」 というものです

  • In fact, you can see the existential sadness in their eyes.

    おかげで我々の種は ひどい苦境に置かれていると

  • (Laughter)

    彼らの目に実存的な悲哀を 見て取れるでしょう

  • So this queasy feeling that making something smarter than your own species

    (笑)

  • is maybe not a good idea --

    「自分の種より知的なものを 生み出すのは

  • what can we do about that?

    良い考えではないのでは?」 という不安な感覚があります

  • Well, really nothing, except stop doing AI,

    それについて 何ができるのでしょう?

  • and because of all the benefits that I mentioned

    AIの開発をやめてしまう以外 ないかもしれませんが

  • and because I'm an AI researcher,

    AIのもたらす様々な利点や

  • I'm not having that.

    私自身AI研究者である という理由によって

  • I actually want to be able to keep doing AI.

    私にはそういう選択肢は ありません

  • So we actually need to nail down the problem a bit more.

    実際AIは続けたいと 思っています

  • What exactly is the problem?

    この問題をもう少し 明確にする必要があるでしょう

  • Why is better AI possibly a catastrophe?

    正確に何が問題なのか?

  • So here's another quotation:

    優れたAIが我々の破滅に繋がりうるのは なぜなのか?

  • "We had better be quite sure that the purpose put into the machine

    ここにもう1つ 引用があります

  • is the purpose which we really desire."

    「機械に与える目的については

  • This was said by Norbert Wiener in 1960,

    それが本当に望むものだと 確信があるものにする必要がある」

  • shortly after he watched one of the very early learning systems

    これはノーバート・ウィーナーが 1960年に言ったことで

  • learn to play checkers better than its creator.

    最初期の学習システムが

  • But this could equally have been said

    作り手よりもうまくチェッカーを 指すのを見た すぐ後のことです

  • by King Midas.

    しかしこれはミダス王の 言葉だったとしても

  • King Midas said, "I want everything I touch to turn to gold,"

    おかしくないでしょう

  • and he got exactly what he asked for.

    ミダス王は「自分の触れたものすべてが 金になってほしい」と望み

  • That was the purpose that he put into the machine,

    そして その望みが 叶えられました

  • so to speak,

    これはいわば

  • and then his food and his drink and his relatives turned to gold

    彼が「機械に与えた目的」です

  • and he died in misery and starvation.

    そして彼の食べ物や飲み物や親類は みんな金に変わってしまい

  • So we'll call this "the King Midas problem"

    彼は悲嘆と飢えの中で 死んでいきました

  • of stating an objective which is not, in fact,

    だから自分が本当に望むことと合わない 目的を掲げることを

  • truly aligned with what we want.

    「ミダス王の問題」と

  • In modern terms, we call this "the value alignment problem."

    呼ぶことにしましょう

  • Putting in the wrong objective is not the only part of the problem.

    現代的な用語では これを 「価値整合の問題」と言います

  • There's another part.

    間違った目的を与えてしまうというのが 問題のすべてではありません

  • If you put an objective into a machine,

    別の側面もあります

  • even something as simple as, "Fetch the coffee,"

    「コーヒーを取ってくる」というような

  • the machine says to itself,

    ごく単純な目的を 機械に与えたとします

  • "Well, how might I fail to fetch the coffee?

    機械は考えます

  • Someone might switch me off.

    「コーヒーを取ってくるのに失敗する どんな状況がありうるだろう?

  • OK, I have to take steps to prevent that.

    誰かが自分のスイッチを 切るかもしれない

  • I will disable my 'off' switch.

    そのようなことを防止する 手を打たなければ

  • I will do anything to defend myself against interference

    自分の「オフ」スイッチを 無効にしておこう

  • with this objective that I have been given."

    与えられた目的の遂行を阻むものから 自分を守るためであれば

  • So this single-minded pursuit

    何だってやろう」

  • in a very defensive mode of an objective that is, in fact,

    1つの目的を

  • not aligned with the true objectives of the human race --

    非常に防御的に 一途に追求すると

  • that's the problem that we face.

    人類の本当の目的に 沿わなくなるというのが

  • And in fact, that's the high-value takeaway from this talk.

    我々の直面する問題です

  • If you want to remember one thing,

    実際それが この講演から学べる 価値ある教訓です

  • it's that you can't fetch the coffee if you're dead.

    もし1つだけ覚えておくとしたら それは —

  • (Laughter)

    「死んだらコーヒーを取ってこれない」 ということです

  • It's very simple. Just remember that. Repeat it to yourself three times a day.

    (笑)

  • (Laughter)

    簡単でしょう 記憶して1日3回唱えてください

  • And in fact, this is exactly the plot

    (笑)

  • of "2001: [A Space Odyssey]"

    実際 映画『2001年宇宙の旅』の筋は

  • HAL has an objective, a mission,

    そういうものでした

  • which is not aligned with the objectives of the humans,

    HALの目的・ミッションは

  • and that leads to this conflict.

    人間の目的とは合わず

  • Now fortunately, HAL is not superintelligent.

    そのため衝突が起きます

  • He's pretty smart, but eventually Dave outwits him

    幸いHALは非常に賢くはあっても 超知的ではありませんでした

  • and manages to switch him off.

    それで最終的には 主人公が出し抜いて

  • But we might not be so lucky.

    スイッチを切ることができました

  • So what are we going to do?

    でも私たちはそんなに幸運では ないかもしれません

  • I'm trying to redefine AI

    では どうしたらいいのでしょう?

  • to get away from this classical notion

    「知的に目的を追求する機械」という

  • of machines that intelligently pursue objectives.

    古典的な見方から離れて

  • There are three principles involved.

    AIの再定義を試みようと思います

  • The first one is a principle of altruism, if you like,

    3つの原則があります

  • that the robot's only objective

    第1は「利他性の原則」で

  • is to maximize the realization of human objectives,

    ロボットの唯一の目的は

  • of human values.

    人間の目的 人間にとって価値あることが

  • And by values here I don't mean touchy-feely, goody-goody values.

    最大限に実現される ようにすることです

  • I just mean whatever it is that the human would prefer

    ここで言う価値は 善人ぶった崇高そうな価値ではありません

  • their life to be like.

    単に何であれ

  • And so this actually violates Asimov's law

    人間が自分の生活に 望むものということです

  • that the robot has to protect its own existence.

    この原則は

  • It has no interest in preserving its existence whatsoever.

    「ロボットは自己を守らなければならない」 というアシモフの原則に反します

  • The second law is a law of humility, if you like.

    自己の存在維持には まったく関心を持たないのです

  • And this turns out to be really important to make robots safe.

    第2の原則は 言うなれば「謙虚の原則」です

  • It says that the robot does not know

    これはロボットを安全なものにする上で 非常に重要であることがわかります

  • what those human values are,

    この原則は

  • so it has to maximize them, but it doesn't know what they are.

    ロボットが人間の価値が何か 知らないものとしています

  • And that avoids this problem of single-minded pursuit

    ロボットは最大化すべきものが何か 知らないということです

  • of an objective.

    1つの目的を 一途に追求することの問題を

  • This uncertainty turns out to be crucial.

    これで避けることができます

  • Now, in order to be useful to us,

    この不確定性が 極めて重要なのです

  • it has to have some idea of what we want.

    人間にとって有用であるためには

  • It obtains that information primarily by observation of human choices,

    我々が何を望むのかについて 大まかな理解は必要です

  • so our own choices reveal information

    ロボットはその情報を主として 人間の選択を観察することで得ます

  • about what it is that we prefer our lives to be like.

    我々が自分の生活に望むのが 何かという情報が

  • So those are the three principles.

    我々のする選択を通して 明かされるわけです

  • Let's see how that applies to this question of:

    以上が3つの原則です

  • "Can you switch the machine off?" as Turing suggested.

    これがチューリングの提起した 「機械のスイッチを切れるか」という問題に

  • So here's a PR2 robot.

    どう適用できるか 見てみましょう

  • This is one that we have in our lab,

    これは PR2 ロボットです

  • and it has a big red "off" switch right on the back.

    私たちの研究室にあるもので

  • The question is: Is it going to let you switch it off?

    背中に大きな赤い 「オフ」スイッチがあります

  • If we do it the classical way,

    問題は ロボットがスイッチを 切らせてくれるかということです

  • we give it the objective of, "Fetch the coffee, I must fetch the coffee,

    古典的なやり方をするなら

  • I can't fetch the coffee if I'm dead,"

    「コーヒーを取ってくる」 という目的に対し

  • so obviously the PR2 has been listening to my talk,

    「コーヒーを取ってこなければならない」 「死んだらコーヒーを取ってこれない」と考え

  • and so it says, therefore, "I must disable my 'off' switch,

    私の講演を聴いていたPR2は

  • and probably taser all the other people in Starbucks

    「オフ・スイッチは無効にしなければ」 と判断し

  • who might interfere with me."

    「スターバックスで邪魔になる 他の客はみんな

  • (Laughter)

    テーザー銃で眠らせよう」 となります

  • So this seems to be inevitable, right?

    (笑)

  • This kind of failure mode seems to be inevitable,

    これは避けがたい ように見えます

  • and it follows from having a concrete, definite objective.

    このような故障モードは 不可避に見え

  • So what happens if the machine is uncertain about the objective?

    そしてそれは具体的で絶対的な 目的があることから来ています

  • Well, it reasons in a different way.

    目的が何なのか機械に 確信がないとしたら どうなるでしょう?

  • It says, "OK, the human might switch me off,

    違ったように推論するはずです

  • but only if I'm doing something wrong.

    「人間は自分のスイッチを 切るかもしれないが

  • Well, I don't really know what wrong is,

    それは自分が何か 悪いことをしたときだけだ

  • but I know that I don't want to do it."

    悪いことが何か よく分からないけど