Placeholder Image

字幕表 動画を再生する

  • I'm going to talk about a failure of intuition

    我々の多くが抱えている―

  • that many of us suffer from.

    直感の誤りについて お話しします

  • It's really a failure to detect a certain kind of danger.

    正確には ある種の危険を 察知し損なうということです

  • I'm going to describe a scenario

    これから説明するシナリオは

  • that I think is both terrifying

    私の考えでは 恐ろしいと同時に

  • and likely to occur,

    起こりそうなこと でもあります

  • and that's not a good combination,

    ありがたくない 組み合わせですね

  • as it turns out.

    考えてみたら

  • And yet rather than be scared, most of you will feel

    しかも 多くの人が それを恐れるよりは

  • that what I'm talking about is kind of cool.

    素敵なことのように 感じています

  • I'm going to describe how the gains we make

    人工知能によって 我々がどのように利益を得

  • in artificial intelligence

    そして最終的には 破滅を招きかねないか お話しします

  • could ultimately destroy us.

    人工知能が 人類を破滅させたり

  • And in fact, I think it's very difficult to see how they won't destroy us

    自滅に追い込んだりしない シナリオは

  • or inspire us to destroy ourselves.

    実際 考えにくい気がします

  • And yet if you're anything like me,

    それでも皆さんが 私と同じなら

  • you'll find that it's fun to think about these things.

    そういったことについて考えるのは 楽しいことでしょう

  • And that response is part of the problem.

    その反応自体が問題なのです

  • OK? That response should worry you.

    そういう反応は 懸念すべきです

  • And if I were to convince you in this talk

    仮にこの講演で 私の訴えていることが

  • that we were likely to suffer a global famine,

    地球温暖化や 何かの大異変のため

  • either because of climate change or some other catastrophe,

    世界的な飢饉がやってくる ということだったとしましょう

  • and that your grandchildren, or their grandchildren,

    私たちの孫や その孫の世代は

  • are very likely to live like this,

    この写真のような 有様になるんだと

  • you wouldn't think,

    その場合 こうは思わないでしょう

  • "Interesting.

    「やあ 面白いな

  • I like this TED Talk."

    このTEDトーク気に入ったよ」

  • Famine isn't fun.

    飢饉は楽しいもの ではありません

  • Death by science fiction, on the other hand, is fun,

    一方で SFの中の破滅は 楽しいものなのです

  • and one of the things that worries me most about the development of AI at this point

    今の時点で AIの発展について 私が最も懸念するのは

  • is that we seem unable to marshal an appropriate emotional response

    将来に待ち受けている 危険に対して

  • to the dangers that lie ahead.

    我々が感情的に適切な反応を できずにいることです

  • I am unable to marshal this response, and I'm giving this talk.

    こう話している私自身 そういう反応をできずにいます

  • It's as though we stand before two doors.

    我々は2つの扉を前に 立っているようなものです

  • Behind door number one,

    1つ目の扉の先には

  • we stop making progress in building intelligent machines.

    知的な機械の開発をやめるという 道があります

  • Our computer hardware and software just stops getting better for some reason.

    ハードウェアやソフトウェアの進歩が 何らかの理由で止まるのです

  • Now take a moment to consider why this might happen.

    そういうことが起きうる要因を ちょっと考えてみましょう

  • I mean, given how valuable intelligence and automation are,

    自動化やインテリジェント化によって 得られる価値を考えれば

  • we will continue to improve our technology if we are at all able to.

    人間は可能な限り テクノロジーを進歩させ続けるはずです

  • What could stop us from doing this?

    それが止まるとしたら 理由は何でしょう?

  • A full-scale nuclear war?

    全面核戦争とか

  • A global pandemic?

    世界的な疫病の大流行とか

  • An asteroid impact?

    小惑星の衝突とか

  • Justin Bieber becoming president of the United States?

    ジャスティン・ビーバーの 大統領就任とか

  • (Laughter)

    (笑)

  • The point is, something would have to destroy civilization as we know it.

    要は 何かで現在の文明が 崩壊する必要があるということです

  • You have to imagine how bad it would have to be

    それがどんなに ひどい事態であるはずか 考えてみてください

  • to prevent us from making improvements in our technology

    技術の進歩を

  • permanently,

    幾世代にもわたり

  • generation after generation.

    半永久的に妨げるようなことです

  • Almost by definition, this is the worst thing

    ほぼ間違いなく

  • that's ever happened in human history.

    人類史上 最悪の出来事でしょう

  • So the only alternative,

    もう1つの選択肢

  • and this is what lies behind door number two,

    2番目の扉の 向こうにあるのは

  • is that we continue to improve our intelligent machines

    知的な機械の進歩が

  • year after year after year.

    ずっと続いていく未来です

  • At a certain point, we will build machines that are smarter than we are,

    するとどこかの時点で 人間よりも 知的な機械を作ることになるでしょう

  • and once we have machines that are smarter than we are,

    そしてひとたび 人間より知的な機械が生まれたなら

  • they will begin to improve themselves.

    機械は自分で 進化していくでしょう

  • And then we risk what the mathematician IJ Good called

    そうなると我々は 数学者 I・J・グッドが言うところの

  • an "intelligence explosion,"

    「知能爆発」の リスクに直面します

  • that the process could get away from us.

    進歩のプロセスが 人間の手を離れてしまうのです

  • Now, this is often caricatured, as I have here,

    それはこの絵のような

  • as a fear that armies of malicious robots

    悪意を持つロボットの大群に 襲われる恐怖として

  • will attack us.

    よく戯画化されています

  • But that isn't the most likely scenario.

    でもそれは ごくありそうな シナリオではないでしょう

  • It's not that our machines will become spontaneously malevolent.

    別に機械が悪意に目覚めるという わけではありません

  • The concern is really that we will build machines

    本当に 心配すべきなのは

  • that are so much more competent than we are

    人間よりもはるかに優れた 機械を作ってしまうと

  • that the slightest divergence between their goals and our own

    人間と機械の目的の ほんのわずかなズレによって

  • could destroy us.

    人類が破滅しかねないと いうことです

  • Just think about how we relate to ants.

    人類がアリのような存在になると 考えるといいです

  • We don't hate them.

    我々は アリが 嫌いなわけではなく

  • We don't go out of our way to harm them.

    わざわざ 潰しに 行きはしません

  • In fact, sometimes we take pains not to harm them.

    潰してしまわないように 気を遣いさえして

  • We step over them on the sidewalk.

    アリを避けて歩きます

  • But whenever their presence

    でもアリの存在が

  • seriously conflicts with one of our goals,

    我々の目的と衝突した時—

  • let's say when constructing a building like this one,

    たとえばこんな建造物を 作るという場合には

  • we annihilate them without a qualm.

    良心の呵責なしに アリを全滅させてしまいます

  • The concern is that we will one day build machines

    私が懸念するのは

  • that, whether they're conscious or not,

    意識的にせよ無意識にせよ

  • could treat us with similar disregard.

    人類をそのように軽く扱う機械を 我々がいつか作ってしまうことです

  • Now, I suspect this seems far-fetched to many of you.

    考えすぎだと 多くの方は 思っていることでしょう

  • I bet there are those of you who doubt that superintelligent AI is possible,

    超知的AIの実現可能性を 疑問視し

  • much less inevitable.

    ましてや不可避などとは 思わない人もいるでしょう

  • But then you must find something wrong with one of the following assumptions.

    でも それなら これから挙げる仮定に 間違いを見つけてほしいものです

  • And there are only three of them.

    仮定は3つだけです

  • Intelligence is a matter of information processing in physical systems.

    知性とは物質的なシステムにおける 情報処理である

  • Actually, this is a little bit more than an assumption.

    実際これは 仮定以上のものです

  • We have already built narrow intelligence into our machines,

    狭い意味での知性なら もう機械で作り出されており

  • and many of these machines perform

    そのような機械はすでに

  • at a level of superhuman intelligence already.

    人間を超える水準に 達しています

  • And we know that mere matter

    そして様々な分野にわたって

  • can give rise to what is called "general intelligence,"

    柔軟に思考できる能力である 「汎用知能」は

  • an ability to think flexibly across multiple domains,

    物質で構成可能なことを 我々は知っています

  • because our brains have managed it. Right?

    なぜなら人間の脳が そうだからです

  • I mean, there's just atoms in here,

    ここにあるのは ただの原子の塊です

  • and as long as we continue to build systems of atoms

    より知的な振る舞いをする

  • that display more and more intelligent behavior,

    原子でできたシステムの構築を 続けていくなら

  • we will eventually, unless we are interrupted,

    何かで中断させられない限りは

  • we will eventually build general intelligence

    いつか汎用知能を

  • into our machines.

    機械で作り出すことに なるでしょう

  • It's crucial to realize that the rate of progress doesn't matter,

    重要なのは ここで進歩のスピードは 問題ではないことです

  • because any progress is enough to get us into the end zone.

    どんな進歩であれ そこに至るのに十分だからです

  • We don't need Moore's law to continue. We don't need exponential progress.

    ムーアの法則の持続も 指数爆発的な進歩も必要ありません

  • We just need to keep going.

    ただ続けていくだけで いいのです

  • The second assumption is that we will keep going.

    第2の仮定は 人間が進み続けていくこと

  • We will continue to improve our intelligent machines.

    我々が知的な機械の 改良を続けていくことです

  • And given the value of intelligence --

    知性の価値を考えてください

  • I mean, intelligence is either the source of everything we value

    知性は 我々が価値を置くもの すべての源泉

  • or we need it to safeguard everything we value.

    価値を置くものを守るために 必要なものです

  • It is our most valuable resource.

    我々が持つ 最も貴重なリソースです

  • So we want to do this.

    我々は それを必要としています

  • We have problems that we desperately need to solve.

    我々は解決すべき問題を 抱えています

  • We want to cure diseases like Alzheimer's and cancer.

    アルツハイマーやガンのような病気を 治したいと思っています

  • We want to understand economic systems. We want to improve our climate science.

    経済の仕組みを理解したい 気象科学をもっと良くしたいと思っています

  • So we will do this, if we can.

    だから 可能であれば やるはずです

  • The train is already out of the station, and there's no brake to pull.

    列車はすでに駅を出発していて ブレーキはありません

  • Finally, we don't stand on a peak of intelligence,

    3番目は 人間は知性の 頂点にはおらず

  • or anywhere near it, likely.

    その近くにすら いないということ

  • And this really is the crucial insight.

    これは重要な洞察であり

  • This is what makes our situation so precarious,

    我々の状況を 危うくするものです

  • and this is what makes our intuitions about risk so unreliable.

    これはまた リスクについての我々の勘が 当てにならない理由でもあります

  • Now, just consider the smartest person who has ever lived.

    史上最も頭の良い人間について 考えてみましょう

  • On almost everyone's shortlist here is John von Neumann.

    ほぼ必ず上がってくる名前に フォン・ノイマンがあります

  • I mean, the impression that von Neumann made on the people around him,

    ノイマンの周囲には

  • and this included the greatest mathematicians and physicists of his time,

    当時の 最も優れた数学者や 物理学者がいたわけですが

  • is fairly well-documented.

    人々がノイマンから受けた印象については いろいろ記述されています

  • If only half the stories about him are half true,

    ノイマンにまつわる話で 半分でも 正しいものが 半分だけだったとしても

  • there's no question

    疑いなく彼は

  • he's one of the smartest people who has ever lived.

    これまでに生きた最も頭の良い 人間の1人です

  • So consider the spectrum of intelligence.

    知能の分布を考えてみましょう

  • Here we have John von Neumann.

    ここにフォン・ノイマンがいて

  • And then we have you and me.

    この辺に私や皆さんがいて

  • And then we have a chicken.

    この辺にニワトリがいます

  • (Laughter)

    (笑)

  • Sorry, a chicken.

    失敬 ニワトリはこの辺です

  • (Laughter)

    (笑)

  • There's no reason for me to make this talk more depressing than it needs to be.

    元々滅入る話をさらに滅入るものに することもないでしょう

  • (Laughter)

    (笑)

  • It seems overwhelmingly likely, however, that the spectrum of intelligence

    知能の分布には 今の我々に想像できるよりも

  • extends much further than we currently conceive,

    はるかに大きな広がりが あることでしょう

  • and if we build machines that are more intelligent than we are,

    そして我々が 人間よりも知的な機械を作ったなら

  • they will very likely explore this spectrum

    それはこの知能の地平を

  • in ways that we can't imagine,

    我々の想像が 及ばないくらい遠くまで

  • and exceed us in ways that we can't imagine.

    進んでいくことでしょう

  • And it's important to recognize that this is true by virtue of speed alone.

    重要なのは スピードの点だけを取っても それは確かだということです

  • Right? So imagine if we just built a superintelligent AI

    スタンフォードやMITの

  • that was no smarter than your average team of researchers

    平均的な研究者並みの 知能を持つ

  • at Stanford or MIT.

    超知的AIができたとしましょう

  • Well, electronic circuits function about a million times faster

    電子回路は 生化学的回路より

  • than biochemical ones,

    100万倍も高速に稼働します

  • so this machine should think about a million times faster

    その機械は それを作り出した頭脳よりも

  • than the minds that built it.

    100万倍速く 働くということです

  • So you set it running for a week,

    だから1週間稼働させておくと

  • and it will perform 20,000 years of human-level intellectual work,

    人間並みの知的作業を 2万年分こなすことになります

  • week after week after week.

    毎週毎週です

  • How could we even understand, much less constrain,

    そのような進歩をする頭脳は

  • a mind making this sort of progress?

    抑えるどころか理解することすら おぼつかないでしょう

  • The other thing that's worrying, frankly,

    正直言って 心配なことが 他にもあります

  • is that, imagine the best case scenario.

    それなら最良のシナリオは どんなものでしょう?

  • So imagine we hit upon a design of superintelligent AI

    安全性について心配のない 超知的AIのデザインを

  • that has no safety concerns.

    思い付いたとします

  • We have the perfect design the first time around.

    完璧なデザインを 最初に手にすることができた

  • It's as though we've been handed an oracle

    神のお告げで 与えられたかのように

  • that behaves exactly as intended.

    まったく意図したとおりに 振る舞います

  • Well, this machine would be the perfect labor-saving device.

    その機械は人間の労働を不要にする 完璧な装置になります

  • It can design the machine that can build the machine

    どんな肉体労働もこなす 機械を作るための

  • that can do any physical work,

    機械をデザインでき

  • powered by sunlight,

    太陽光で稼働し

  • more or less for the cost of raw materials.

    原材料費くらいしか かかりません

  • So we're talking about the end of human drudgery.

    人間は苦役から 解放されます

  • We're also talking about the end of most intellectual work.

    知的な仕事の多くすら 不要になります

  • So what would apes like ourselves do in this circumstance?

    そのような状況で 我々のようなサルは 何をするのでしょう?

  • Well, we'd be free to play Frisbee and give each other massages.

    気ままにフリスビーしたり マッサージし合ったりでしょうか

  • Add some LSD and some questionable wardrobe choices,

    それにLSDと 奇抜な服を加えるなら

  • and the whole world could be like Burning Man.

    世界中がバーニングマンの お祭りのようになるかもしれません

  • (Laughter)

    (笑)

  • Now, that might sound pretty good,

    それも結構かもしれませんが

  • but ask yourself what would happen

    現在の政治経済状況の元で

  • under our current economic and political order?

    どんなことが起きるだろうか 考えてみてください

  • It seems likely that we would witness

    経済格差や失業が

  • a level of wealth inequality and unemployment

    かつてない規模で生じる

  • that we have never seen before.

    可能性が高いでしょう

  • Absent a willingness to immediately put this new wealth

    この新しい富を即座に

  • to the service of all humanity,

    全人類に進んで 提供する気がなければ

  • a few trillionaires could grace the covers of our business magazines

    一握りの兆万長者が ビジネス誌の表紙を飾る一方で

  • while the rest of the world would be free to starve.

    残りの人々は 飢えることになるでしょう

  • And what would the Russians or the Chinese do

    シリコンバレーの会社が

  • if they heard that some company in Silicon Valley

    超知的AIを展開しようと していると聞いたら

  • was about to deploy a superintelligent AI?

    ロシアや中国は どうするでしょう?

  • This machine would be capable of waging war,

    その機械は 地上戦であれ サイバー戦であれ

  • whether terrestrial or cyber,

    かつてない力でもって

  • with unprecedented power.

    戦争を遂行する 能力があります

  • This is a winner-take-all scenario.

    勝者がすべてを 手にするシナリオです

  • To be six months ahead of the competition here

    競争で半年 先んじることで

  • is to be 500,000 years ahead,

    少なくとも50万年分

  • at a minimum.

    先を行くことが できるのです

  • So it seems that even mere rumors of this kind of breakthrough

    そのような技術革新の 噂だけでも

  • could cause our species to go berserk.

    世界中が大騒ぎに なるでしょう

  • Now, one of the most frightening things,

    今の時点で私が

  • in my view, at this moment,

    いちばんゾッとするのは

  • are the kinds of things that AI researchers say

    AI研究者が 安心させようとして

  • when they want to be reassuring.

    言うたぐいのことです

  • And the most common reason we're told not to worry is time.

    心配すべきでない理由として よく言われるのは 時間です

  • This is all a long way off, don't you know.

    そんなのは ずっと先の話で

  • This is probably 50 or 100 years away.

    50年とか100年も先の話だと

  • One researcher has said,

    ある研究者は

  • "Worrying about AI safety

    「AIの安全性を懸念するのは

  • is like worrying about overpopulation on Mars."

    火星の人口過剰を心配するようなものだ」と 言っています

  • This is the Silicon Valley version

    これは「あなたの小さな頭を そんなことで悩ませないで」というやつの

  • of "don't worry your pretty little head about it."

    シリコンバレー版です

  • (Laughter)

    (笑)

  • No one seems to notice

    誰も気付いていない ように見えるのは

  • that referencing the time horizon

    時間的スケールは

  • is a total non sequitur.

    この際 無関係だと いうことです

  • If intelligence is just a matter of information processing,

    知性の実体が 情報処理にすぎず

  • and we continue to improve our machines,

    人類が 機械の改良を 続けていくなら

  • we will produce some form of superintelligence.

    いずれ何らかの形の 超知性を生み出すことになるでしょう

  • And we have no idea how long it will take us

    それを安全に行える 条件を作り出すのに

  • to create the conditions to do that safely.

    どれくらい時間がかかるのか 我々には 見当も付きません

  • Let me say that again.

    もう一度言いましょう

  • We have no idea how long it will take us

    それを安全に行える 条件を作り出すのに

  • to create the conditions to do that safely.

    どれくらい時間がかかるのか 我々には 見当も付きません

  • And if you haven't noticed, 50 years is not what it used to be.

    今の50年というのは かつての50年とは違っています

  • This is 50 years in months.

    これは 50年を月の数で 表したものです

  • This is how long we've had the iPhone.

    これはiPhoneが 登場してからの時間

  • This is how long "The Simpsons" has been on television.

    これは『シンプソンズ』の放送が 始まってからの時間

  • Fifty years is not that much time

    人類最大の難問に 取り組む時間としては

  • to meet one of the greatest challenges our species will ever face.

    50年というのは そんなに 長いものではありません

  • Once again, we seem to be failing to have an appropriate emotional response

    繰り返しになりますが 必ずやってくると思われるものに対して

  • to what we have every reason to believe is coming.

    我々は感情的に適切な反応を できずにいるようです

  • The computer scientist Stuart Russell has a nice analogy here.

    コンピューター科学者のスチュワート・ ラッセルが うまい例えをしています

  • He said, imagine that we received a message from an alien civilization,

    異星の文明から

  • which read:

    こんなメッセージを受け取ったと 想像してください

  • "People of Earth,

    「地球の諸君

  • we will arrive on your planet in 50 years.

    あと50年で 我々はそちらに着く

  • Get ready."

    準備されたし」

  • And now we're just counting down the months until the mothership lands?

    我々は 彼らの母船が着陸する時を ただ指折り数えて待つのでしょうか?

  • We would feel a little more urgency than we do.

    もう少し 切迫感を抱くのでは ないかと思います

  • Another reason we're told not to worry

    心配無用だとされる 別の理由は

  • is that these machines can't help but share our values

    そういった機械は 人間の延長であり

  • because they will be literally extensions of ourselves.

    人間と同じ価値観を 持つはずだというものです