Placeholder Image

字幕表 動画を再生する

  • I work with a bunch of mathematicians, philosophers and computer scientists,

    私は沢山の数学者や哲学者や コンピュータ科学者といっしょにやっていますが

  • and we sit around and think about the future of machine intelligence,

    よく話題にすることに

  • among other things.

    機械の知性の未来 というのがあります

  • Some people think that some of these things are sort of science fiction-y,

    そんなのは現実離れした SFの世界の

  • far out there, crazy.

    馬鹿げた話だと 考える人もいます

  • But I like to say,

    でも現在の人間の状態 というものについて

  • okay, let's look at the modern human condition.

    ちょっと考えてみて ほしいのです

  • (Laughter)

    (笑)

  • This is the normal way for things to be.

    これが普通の状況とされています

  • But if we think about it,

    しかし考えてみれば

  • we are actually recently arrived guests on this planet,

    人間というのは この地球に

  • the human species.

    ごく最近現れた 客に過ぎません

  • Think about if Earth was created one year ago,

    地球ができたのが 1年前だったとしたら

  • the human species, then, would be 10 minutes old.

    人間がいたのは 10分間だけで

  • The industrial era started two seconds ago.

    工業化時代が始まったのは 2秒前です

  • Another way to look at this is to think of world GDP over the last 10,000 years,

    このことの別な見方として 過去1万年における世界のGDPを考えてみましょう

  • I've actually taken the trouble to plot this for you in a graph.

    私は実際グラフにしてみたんですが

  • It looks like this.

    こんな感じになります

  • (Laughter)

    (笑)

  • It's a curious shape for a normal condition.

    正常な状態のものとしては 興味深い形です

  • I sure wouldn't want to sit on it.

    この上に乗っていたいとは あまり思いません

  • (Laughter)

    (笑)

  • Let's ask ourselves, what is the cause of this current anomaly?

    この現在における例外的な状態の 原因を考えてみましょう

  • Some people would say it's technology.

    それはテクノロジーのためだ という人もいるでしょう

  • Now it's true, technology has accumulated through human history,

    それはその通りで 人類の歴史を通じて テクノロジーは蓄積され続け

  • and right now, technology advances extremely rapidly --

    現在ではテクノロジーの進歩が 非常に速くなっています

  • that is the proximate cause,

    それがおおよその答えで

  • that's why we are currently so very productive.

    現在の我々の高い生産性を もたらしているものです

  • But I like to think back further to the ultimate cause.

    しかしもっと突っ込んで 究極の原因を探ってみたいと思います

  • Look at these two highly distinguished gentlemen:

    この非常に際だった2人を ご覧ください

  • We have Kanzi --

    カンジは

  • he's mastered 200 lexical tokens, an incredible feat.

    200の字句をマスターしています すごいことです

  • And Ed Witten unleashed the second superstring revolution.

    エドワード・ウィッテンは 超弦理論の第2の革命の立役者です

  • If we look under the hood, this is what we find:

    中身を覗いてみれば そこにあるのはこれで

  • basically the same thing.

    基本的には同じものです

  • One is a little larger,

    一方がすこしばかり大きく

  • it maybe also has a few tricks in the exact way it's wired.

    配線のされ方にも より巧妙なところが あるかもしれませんが

  • These invisible differences cannot be too complicated, however,

    その違いはさほど 複雑なものではないはずです

  • because there have only been 250,000 generations

    我々は共通の祖先から

  • since our last common ancestor.

    25万世代しか 隔たっていませんが

  • We know that complicated mechanisms take a long time to evolve.

    複雑なメカニズムが進化するのには とても長い時間がかかることが分かっています

  • So a bunch of relatively minor changes

    比較的小さな変化の 沢山の積み重ねが

  • take us from Kanzi to Witten,

    カンジとウィッテンを

  • from broken-off tree branches to intercontinental ballistic missiles.

    あるいは木切れと大陸間弾道弾を 隔てているものなのです

  • So this then seems pretty obvious that everything we've achieved,

    これで明らかになるのは 人類が達成したこと

  • and everything we care about,

    気にかけていることすべては

  • depends crucially on some relatively minor changes that made the human mind.

    人間の心を作り出した比較的小さな変化によって 生じたということです

  • And the corollary, of course, is that any further changes

    それはまた 思考の基質を

  • that could significantly change the substrate of thinking

    はっきり変えるような さらなる変化は

  • could have potentially enormous consequences.

    極めて大きな結果をもたらしうる ということでもあります

  • Some of my colleagues think we're on the verge

    私の研究仲間の間には この思考の基質を本質的に変えうるものに

  • of something that could cause a profound change in that substrate,

    人類は今直面していると 考えている人もいます

  • and that is machine superintelligence.

    それは超知的な機械です

  • Artificial intelligence used to be about putting commands in a box.

    人工知能というのはかつては コマンドを詰め込んだ箱のようなものでした

  • You would have human programmers

    人間のプログラマーが 苦労して

  • that would painstakingly handcraft knowledge items.

    個々の知識項目を 手作りしていました

  • You build up these expert systems,

    そうやってエキスパート・システムを作り

  • and they were kind of useful for some purposes,

    ある種の用途には 役立ちましたが

  • but they were very brittle, you couldn't scale them.

    融通が効かず 拡張性を欠いていました

  • Basically, you got out only what you put in.

    基本的には入れたものが 出てくるだけです

  • But since then,

    しかしその後

  • a paradigm shift has taken place in the field of artificial intelligence.

    人工知能の世界で パラダイムシフトが起きました

  • Today, the action is really around machine learning.

    現在 機械学習の周辺で 非常に興味深いことが起きています

  • So rather than handcrafting knowledge representations and features,

    知識的な機能や表現を 手作りする代わりに

  • we create algorithms that learn, often from raw perceptual data.

    生の知覚データから 自ら学習するアルゴリズムを作るのです

  • Basically the same thing that the human infant does.

    基本的には人間の子供と同じことを 機械がするわけです

  • The result is A.I. that is not limited to one domain --

    結果としてできるのは 1つの領域に限定されない人工知能です

  • the same system can learn to translate between any pairs of languages,

    どんな言語間の翻訳でも できるシステムとか

  • or learn to play any computer game on the Atari console.

    アタリのゲーム機用のどんなゲームでも プレイしてしまうシステムとか

  • Now of course,

    もちろん 人工知能はまだ

  • A.I. is still nowhere near having the same powerful, cross-domain

    多様な領域のことを 学び構想できる

  • ability to learn and plan as a human being has.

    人間の脳の強力さには 遠く及びません

  • The cortex still has some algorithmic tricks

    大脳皮質にはまだ 機械で対抗する方法の見当もつかないような

  • that we don't yet know how to match in machines.

    アルゴリズム的仕掛けがあります

  • So the question is,

    問題は そういう仕掛けに

  • how far are we from being able to match those tricks?

    機械が対抗するようになる日が いつ来るのかということです

  • A couple of years ago,

    2年ほど前に

  • we did a survey of some of the world's leading A.I. experts,

    世界の人工知能の専門家にアンケートを取って 考えを聞いたんですが

  • to see what they think, and one of the questions we asked was,

    その時の質問の1つが

  • "By which year do you think there is a 50 percent probability

    「機械の知性が人間並みのレベルに 到達する可能性が

  • that we will have achieved human-level machine intelligence?"

    50%あるのはいつか?」 というものでした

  • We defined human-level here as the ability to perform

    ここでの「人間並み」の定義は

  • almost any job at least as well as an adult human,

    ほとんどの作業を大人の人間と 同じくらいにこなせる能力ということで

  • so real human-level, not just within some limited domain.

    特定の領域に関してということではなく 本当に人間並みということです

  • And the median answer was 2040 or 2050,

    回答の中央値は 2040年か2050年で

  • depending on precisely which group of experts we asked.

    質問をした専門家のグループによって 若干違いました

  • Now, it could happen much, much later, or sooner,

    それが起きるのはずっと遅いかもしれないし ずっと早いかもしれません

  • the truth is nobody really knows.

    本当のところは 誰にも分かりません

  • What we do know is that the ultimate limit to information processing

    しかし分かっているのは 機械の基質による情報処理能力の限界は

  • in a machine substrate lies far outside the limits in biological tissue.

    生物組織の限界の 遙か先にあるということです

  • This comes down to physics.

    これは単純に物理の問題です

  • A biological neuron fires, maybe, at 200 hertz, 200 times a second.

    神経の発火頻度は200ヘルツ 毎秒200回ほどですが

  • But even a present-day transistor operates at the Gigahertz.

    現在のトランジスタでさえ ギガヘルツで動いています

  • Neurons propagate slowly in axons, 100 meters per second, tops.

    神経伝達は軸索をゆっくり伝わり せいぜい毎秒100メートルですが

  • But in computers, signals can travel at the speed of light.

    コンピュータの信号は 光速で伝わります

  • There are also size limitations,

    大きさの点でも制限があります

  • like a human brain has to fit inside a cranium,

    人間の脳は頭蓋骨の中に 収まる必要がありますが

  • but a computer can be the size of a warehouse or larger.

    コンピュータの大きさは倉庫のサイズか もっと大きくもできます

  • So the potential for superintelligence lies dormant in matter,

    だから超知的な機械の可能性は 休眠状態にあるのです

  • much like the power of the atom lay dormant throughout human history,

    ちょうど原子の力が 1945年に目覚めるまで

  • patiently waiting there until 1945.

    人類の歴史を通じて 休眠状態にあったのと同じように

  • In this century,

    この世紀中に

  • scientists may learn to awaken the power of artificial intelligence.

    科学者達は人工知能の力を 目覚めさせるかもしれません

  • And I think we might then see an intelligence explosion.

    私たちは知性の爆発を目の当たりに することになるかもしれません

  • Now most people, when they think about what is smart and what is dumb,

    頭の良し悪しの尺度というと 多くの人は

  • I think have in mind a picture roughly like this.

    こんなものを イメージするのではと思います

  • So at one end we have the village idiot,

    一方の端に間抜けな人間がいて

  • and then far over at the other side

    遙か彼方の別の極端にいるのが

  • we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

    ウィッテンとかアインシュタインです 誰でもお気に入りの天才を置いてください

  • But I think that from the point of view of artificial intelligence,

    しかし人工知能という 観点を加えると

  • the true picture is actually probably more like this:

    実際のイメージは たぶんこんな感じになるでしょう

  • AI starts out at this point here, at zero intelligence,

    人工知能は 知性のない状態からスタートして

  • and then, after many, many years of really hard work,

    長年の努力の後に

  • maybe eventually we get to mouse-level artificial intelligence,

    いつかネズミ並みの知性に 到達できるかもしれません

  • something that can navigate cluttered environments

    雑然とした環境中を ネズミのように

  • as well as a mouse can.

    目的地へと 移動できる能力です

  • And then, after many, many more years of really hard work, lots of investment,

    さらに長年に渡る 多くの努力と投資の末に

  • maybe eventually we get to chimpanzee-level artificial intelligence.

    いつかチンパンジー並みの知性に 到達できるかもしれません

  • And then, after even more years of really, really hard work,

    そこからさらに 長年の大きな努力を重ねて

  • we get to village idiot artificial intelligence.

    間抜けな人間のレベルの 人工知能ができます

  • And a few moments later, we are beyond Ed Witten.

    それから少しばかり後に エドワード・ウィッテンを越えます

  • The train doesn't stop at Humanville Station.

    この列車は人間レベルで 止まりはしません

  • It's likely, rather, to swoosh right by.

    むしろ一瞬で 通り過ぎるでしょう

  • Now this has profound implications,

    これには特に 力関係という点で

  • particularly when it comes to questions of power.

    重大な意味があります

  • For example, chimpanzees are strong --

    たえとば チンパンジーというのは 強いものです

  • pound for pound, a chimpanzee is about twice as strong as a fit human male.

    体重換算すると チンパンジーは 体力に優れた成人男性の倍の力があります

  • And yet, the fate of Kanzi and his pals depends a lot more

    それでもカンジや その仲間達の運命は

  • on what we humans do than on what the chimpanzees do themselves.

    チンパンジー達自身よりは 人間の手に握られています

  • Once there is superintelligence,

    超知的な機械が出現したら

  • the fate of humanity may depend on what the superintelligence does.

    人類の運命は超知的な機械に 握られることになるかもしれません

  • Think about it:

    そのことを考えてみてください

  • Machine intelligence is the last invention that humanity will ever need to make.

    機械の知性は 人類がする必要のある最後の発明です

  • Machines will then be better at inventing than we are,

    機械が人間よりも うまく発明をするようになり

  • and they'll be doing so on digital timescales.

    しかもデジタルの時間尺度で 進歩することでしょう

  • What this means is basically a telescoping of the future.

    それが意味するのは 未来が短縮されるということです

  • Think of all the crazy technologies that you could have imagined

    人類が遠い未来に 実現するかもしれない

  • maybe humans could have developed in the fullness of time:

    夢のようなテクノロジーについて 考えてください

  • cures for aging, space colonization,

    老化を止めるとか 宇宙への移民

  • self-replicating nanobots or uploading of minds into computers,

    自己増殖ナノボットや 意識のコンピュータへのアップロードなど

  • all kinds of science fiction-y stuff

    SFっぽいけれど

  • that's nevertheless consistent with the laws of physics.

    物理法則には 反していないものです

  • All of this superintelligence could develop, and possibly quite rapidly.

    超知的な機械が そういったものを あっさり開発してしまうかもしれません

  • Now, a superintelligence with such technological maturity

    超知的な機械は そのような高度な技術によって

  • would be extremely powerful,

    非常に大きな力を持ち

  • and at least in some scenarios, it would be able to get what it wants.

    シナリオ次第では 望むものを何でも 手に入れるようになるかもしれません

  • We would then have a future that would be shaped by the preferences of this A.I.

    そうすると人類の未来は人工知能が好む通りに 形作られることになります

  • Now a good question is, what are those preferences?

    ここで問題は その好むことが 何かということです

  • Here it gets trickier.

    話しがややこしくなってきますが

  • To make any headway with this,

    この議論を進める上では

  • we must first of all avoid anthropomorphizing.

    何より擬人化を 避けなければなりません

  • And this is ironic because every newspaper article

    皮肉なのは 未来の人工知能を取り上げる記事で

  • about the future of A.I. has a picture of this:

    必ず出てくるのが こんな写真だということです

  • So I think what we need to do is to conceive of the issue more abstractly,

    私たちはこの問題を ハリウッドの鮮明なシナリオに沿ってではなく

  • not in terms of vivid Hollywood scenarios.

    もっと抽象的に 考える必要があります

  • We need to think of intelligence as an optimization process,

    我々は知性を 未来を特定の状態へと舵取りしていく

  • a process that steers the future into a particular set of configurations.

    最適化プロセスとして 捉える必要があります

  • A superintelligence is a really strong optimization process.

    超知的な機械は 非常に強力な最適化プロセスです

  • It's extremely good at using available means to achieve a state

    利用可能な手段を使って 目的が充たされた状態を達成することに

  • in which its goal is realized.

    極めて長けています

  • This means that there is no necessary conenction between

    この意味での 高い知性を持つことと

  • being highly intelligent in this sense,

    人間が価値や意味を認める 目的を抱くことの間には

  • and having an objective that we humans would find worthwhile or meaningful.

    必ずしも関係がありません

  • Suppose we give an A.I. the goal to make humans smile.

    人間を笑顔にさせるという目的を 人工知能に与えたとしましょう

  • When the A.I. is weak, it performs useful or amusing actions

    弱い人工知能は 人が見て笑うような

  • that cause its user to smile.

    何か可笑しいことを するでしょう

  • When the A.I. becomes superintelligent,

    人工知能が 超知的になったなら

  • it realizes that there is a more effective way to achieve this goal:

    この目的を達するには もっと効果的なやり方があることに気付くでしょう

  • take control of the world

    世界をコントロールし

  • and stick electrodes into the facial muscles of humans

    人間の表情筋に 電極を差し込んで

  • to cause constant, beaming grins.

    笑い顔が持続するようにするんです

  • Another example,

    別の例として

  • suppose we give A.I. the goal to solve a difficult mathematical problem.

    人工知能に難しい数学の問題を解くことを 目的として与えたとします

  • When the A.I. becomes superintelligent,

    人工知能が超知的になったら

  • it realizes that the most effective way to get the solution to this problem

    この問題を解くための 最も効果的な方法は

  • is by transforming the planet into a giant computer,

    地球を巨大なコンピュータに変えて

  • so as to increase its thinking capacity.

    思考能力を増大させることだと 考えるかもしれません

  • And notice that this gives the A.I.s an instrumental reason

    このような目的は 人工知能に対して

  • to do things to us that we might not approve of.

    人間が認めないような行為をする動機を 与えうることに注意してください

  • Human beings in this model are threats,

    このモデルにおいては

  • we could prevent the mathematical problem from being solved.

    人間は人工知能にとって数学的問題を解くのを妨げる 邪魔者になりうるのです

  • Of course, perceivably things won't go wrong in these particular ways;

    もちろん物事がこの筋書き通りに まずいことに陥ることはないでしょう

  • these are cartoon examples.

    これはあくまで 戯画化した例です

  • But the general point here is important:

    しかしこの一般的な論点は重要です

  • if you create a really powerful optimization process

    目的Xに向けて最大化を行う

  • to maximize for objective x,

    強力な最適化プロセスを 作るときには

  • you better make sure that your definition of x

    Xの定義が自分の気にかける その他すべてのことに

  • incorporates everything you care about.

    問題を生じないか よく確認する必要があります

  • This is a lesson that's also taught in many a myth.

    これは伝説が教える 教訓でもあります

  • King Midas wishes that everything he touches be turned into gold.

    ミダス王は自分の触るものすべてが 金になることを望みました

  • He touches his daughter, she turns into gold.

    娘に触れば 娘が金に変わり

  • He touches his food, it turns into gold.

    食べ物に触れば 食べ物が金に変わりました

  • This could become practically relevant,

    これが本当に 問題になるかもしれません

  • not just as a metaphor for greed,

    単なる強欲を諫める メタファーとしてではなく

  • but as an illustration of what happens

    強力な最適化プロセスを作って

  • if you create a powerful optimization process

    間違った あるいは まずく定義された目的を与えたときに

  • and give it misconceived or poorly specified goals.

    何が起きるかを 示すものとしてです

  • Now you might say, if a computer starts sticking electrodes into people's faces,

    コンピュータが人の顔に 電極を差し始めたら

  • we'd just shut it off.

    単にスイッチを切ればいいと 思うかもしれません

  • A, this is not necessarily so easy to do if we've grown dependent on the system --

    (A) そのシステムに依存するようになったとき スイッチを切ることは難しくなります

  • like, where is the off switch to the Internet?

    たとえばの話 インターネットのスイッチは どこにあるのでしょう?

  • B, why haven't the chimpanzees flicked the off switch to humanity,

    (B) チンパンジーはなぜ人間のスイッチを オフにしなかったんでしょう?

  • or the Neanderthals?

    あるいはネアンデルタール人は?

  • They certainly had reasons.

    彼らにはそうすべき理由が あったことでしょう

  • We have an off switch, for example, right here.

    人間を切るスイッチはあります たとえはここに

  • (Choking)

    (うぐぅ)

  • The reason is that we are an intelligent adversary;

    その理由は人間が 知的な相手だからです

  • we can anticipate threats and plan around them.

    人間は危険を予期して 回避することができます

  • But so could a superintelligent agent,

    そしてそれは超知的な機械にも できるだろうことで

  • and it would be much better at that than we are.

    しかも人間よりずっと 上手くできることでしょう

  • The point is, we should not be confident that we have this under control here.

    我々は制御できるはずだと 高をくくらない方がよいということです

  • And we could try to make our job a little bit easier by, say,

    この問題をもう少し簡単にして

  • putting the A.I. in a box,

    人工知能を逃げ出すことのできない

  • like a secure software environment,

    安全なソフトウェア環境や

  • a virtual reality simulation from which it cannot escape.

    仮想現実シミュレーションの中に閉じ込める というのでもいいかもしれません

  • But how confident can we be that the A.I. couldn't find a bug.

    しかし人工知能がシステムの欠陥を見つけたりしないと 自信を持てるでしょうか?

  • Given that merely human hackers find bugs all the time,

    ただの人間のハッカーでさえ 年中バグを見つけていることを思えば

  • I'd say, probably not very confident.

    あまり自信は持てないでしょう

  • So we disconnect the ethernet cable to create an air gap,

    ではネットワークケーブルを抜いて エアギャップを作ればどうか?

  • but again, like merely human hackers

    これにしたって人間のハッカーが ソーシャルエンジニアリングによって

  • routinely transgress air gaps using social engineering.

    エアギャップを越えるということが たびたび起きています

  • Right now, as I speak,

    私が話をしているこの瞬間にも

  • I'm sure there is some employee out there somewhere

    きっとどこかの社員が

  • who has been talked into handing out her account details

    情報管理部門から来たという人間に

  • by somebody claiming to be from the I.T. department.

    アカウントの情報を教えるよう 仕向けられていることでしょう

  • More creative scenarios are also possible,

    もっと奇想天外なシナリオだって 考えられます

  • like if you're the A.I.,

    たとえば人工知能が

  • you can imagine wiggling electrodes around in your internal circuitry

    内部回路にある電極の 振動で発生した

  • to create radio waves that you can use to communicate.

    電波を使って 通信をするとか

  • Or maybe you could pretend to malfunction,

    あるいは人工知能が故障を装って

  • and then when the programmers open you up to see what went wrong with you,

    プログラマーが調べようと中を開け

  • they look at the source code -- Bam! --

    ソースコードを見たところで バーン!

  • the manipulation can take place.

    操作してしまうとか

  • Or it could output the blueprint to a really nifty technology,

    あるいはすごく洗練された 技術の設計図を出して

  • and when we implement it,

    人間がそれを実装してみると

  • it has some surreptitious side effect that the A.I. had planned.

    そこには人工知能が潜ませていた 密かな副作用があるとか