and we sit around and think about the future of machine intelligence,

よく話題にすることに

among other things.

機械の知性の未来 というのがあります

Some people think that some of these things are sort of science fiction-y,

そんなのは現実離れした SFの世界の

far out there, crazy.

馬鹿げた話だと 考える人もいます

But I like to say,

でも現在の人間の状態 というものについて

okay, let's look at the modern human condition.

ちょっと考えてみて ほしいのです

(Laughter)

(笑)

This is the normal way for things to be.

これが普通の状況とされています

But if we think about it,

しかし考えてみれば

we are actually recently arrived guests on this planet,

人間というのは この地球に

the human species.

ごく最近現れた 客に過ぎません

Think about if Earth was created one year ago,

地球ができたのが １年前だったとしたら

the human species, then, would be 10 minutes old.

人間がいたのは 10分間だけで

The industrial era started two seconds ago.

工業化時代が始まったのは ２秒前です

Another way to look at this is to think of world GDP over the last 10,000 years,

このことの別な見方として 過去１万年における世界のGDPを考えてみましょう

I've actually taken the trouble to plot this for you in a graph.

私は実際グラフにしてみたんですが

It looks like this.

こんな感じになります

(Laughter)

(笑)

It's a curious shape for a normal condition.

正常な状態のものとしては 興味深い形です

I sure wouldn't want to sit on it.

この上に乗っていたいとは あまり思いません

(Laughter)

(笑)

Let's ask ourselves, what is the cause of this current anomaly?

この現在における例外的な状態の 原因を考えてみましょう

Some people would say it's technology.

それはテクノロジーのためだ という人もいるでしょう

Now it's true, technology has accumulated through human history,

それはその通りで 人類の歴史を通じて テクノロジーは蓄積され続け

and right now, technology advances extremely rapidly --

現在ではテクノロジーの進歩が 非常に速くなっています

that is the proximate cause,

それがおおよその答えで

that's why we are currently so very productive.

現在の我々の高い生産性を もたらしているものです

But I like to think back further to the ultimate cause.

しかしもっと突っ込んで 究極の原因を探ってみたいと思います

Look at these two highly distinguished gentlemen:

この非常に際だった２人を ご覧ください

We have Kanzi --

カンジは

he's mastered 200 lexical tokens, an incredible feat.

200の字句をマスターしています すごいことです

And Ed Witten unleashed the second superstring revolution.

エドワード・ウィッテンは 超弦理論の第２の革命の立役者です

If we look under the hood, this is what we find:

中身を覗いてみれば そこにあるのはこれで

basically the same thing.

基本的には同じものです

One is a little larger,

一方がすこしばかり大きく

it maybe also has a few tricks in the exact way it's wired.

配線のされ方にも より巧妙なところが あるかもしれませんが

These invisible differences cannot be too complicated, however,

その違いはさほど 複雑なものではないはずです

because there have only been 250,000 generations

我々は共通の祖先から

since our last common ancestor.

25万世代しか 隔たっていませんが

We know that complicated mechanisms take a long time to evolve.

複雑なメカニズムが進化するのには とても長い時間がかかることが分かっています

So a bunch of relatively minor changes

比較的小さな変化の 沢山の積み重ねが

take us from Kanzi to Witten,

カンジとウィッテンを

from broken-off tree branches to intercontinental ballistic missiles.

あるいは木切れと大陸間弾道弾を 隔てているものなのです

So this then seems pretty obvious that everything we've achieved,

これで明らかになるのは 人類が達成したこと

and everything we care about,

気にかけていることすべては

depends crucially on some relatively minor changes that made the human mind.

人間の心を作り出した比較的小さな変化によって 生じたということです

And the corollary, of course, is that any further changes

それはまた 思考の基質を

that could significantly change the substrate of thinking

はっきり変えるような さらなる変化は

could have potentially enormous consequences.

極めて大きな結果をもたらしうる ということでもあります

Some of my colleagues think we're on the verge

私の研究仲間の間には この思考の基質を本質的に変えうるものに

of something that could cause a profound change in that substrate,

人類は今直面していると 考えている人もいます

and that is machine superintelligence.

それは超知的な機械です

Artificial intelligence used to be about putting commands in a box.

人工知能というのはかつては コマンドを詰め込んだ箱のようなものでした

You would have human programmers

人間のプログラマーが 苦労して

that would painstakingly handcraft knowledge items.

個々の知識項目を 手作りしていました

You build up these expert systems,

そうやってエキスパート・システムを作り

and they were kind of useful for some purposes,

ある種の用途には 役立ちましたが

but they were very brittle, you couldn't scale them.

融通が効かず 拡張性を欠いていました

Basically, you got out only what you put in.

基本的には入れたものが 出てくるだけです

But since then,

しかしその後

a paradigm shift has taken place in the field of artificial intelligence.

人工知能の世界で パラダイムシフトが起きました

Today, the action is really around machine learning.

現在 機械学習の周辺で 非常に興味深いことが起きています

So rather than handcrafting knowledge representations and features,

知識的な機能や表現を 手作りする代わりに

we create algorithms that learn, often from raw perceptual data.

生の知覚データから 自ら学習するアルゴリズムを作るのです

Basically the same thing that the human infant does.

基本的には人間の子供と同じことを 機械がするわけです

The result is A.I. that is not limited to one domain --

結果としてできるのは １つの領域に限定されない人工知能です

the same system can learn to translate between any pairs of languages,

どんな言語間の翻訳でも できるシステムとか

or learn to play any computer game on the Atari console.

アタリのゲーム機用のどんなゲームでも プレイしてしまうシステムとか

Now of course,

もちろん 人工知能はまだ

A.I. is still nowhere near having the same powerful, cross-domain

多様な領域のことを 学び構想できる

ability to learn and plan as a human being has.

人間の脳の強力さには 遠く及びません

The cortex still has some algorithmic tricks

大脳皮質にはまだ 機械で対抗する方法の見当もつかないような

that we don't yet know how to match in machines.

アルゴリズム的仕掛けがあります

So the question is,

問題は そういう仕掛けに

how far are we from being able to match those tricks?

機械が対抗するようになる日が いつ来るのかということです

A couple of years ago,

２年ほど前に

we did a survey of some of the world's leading A.I. experts,

世界の人工知能の専門家にアンケートを取って 考えを聞いたんですが

to see what they think, and one of the questions we asked was,

その時の質問の１つが

"By which year do you think there is a 50 percent probability

「機械の知性が人間並みのレベルに 到達する可能性が

that we will have achieved human-level machine intelligence?"

50%あるのはいつか？」 というものでした

We defined human-level here as the ability to perform

ここでの「人間並み」の定義は

almost any job at least as well as an adult human,

ほとんどの作業を大人の人間と 同じくらいにこなせる能力ということで

so real human-level, not just within some limited domain.

特定の領域に関してということではなく 本当に人間並みということです

And the median answer was 2040 or 2050,

回答の中央値は 2040年か2050年で

depending on precisely which group of experts we asked.

質問をした専門家のグループによって 若干違いました

Now, it could happen much, much later, or sooner,

それが起きるのはずっと遅いかもしれないし ずっと早いかもしれません

the truth is nobody really knows.

本当のところは 誰にも分かりません

What we do know is that the ultimate limit to information processing

しかし分かっているのは 機械の基質による情報処理能力の限界は

in a machine substrate lies far outside the limits in biological tissue.

生物組織の限界の 遙か先にあるということです

This comes down to physics.

これは単純に物理の問題です

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

神経の発火頻度は200ヘルツ 毎秒200回ほどですが

But even a present-day transistor operates at the Gigahertz.

現在のトランジスタでさえ ギガヘルツで動いています

Neurons propagate slowly in axons, 100 meters per second, tops.

神経伝達は軸索をゆっくり伝わり せいぜい毎秒100メートルですが

But in computers, signals can travel at the speed of light.

コンピュータの信号は 光速で伝わります

There are also size limitations,

大きさの点でも制限があります

like a human brain has to fit inside a cranium,

人間の脳は頭蓋骨の中に 収まる必要がありますが

but a computer can be the size of a warehouse or larger.

コンピュータの大きさは倉庫のサイズか もっと大きくもできます

So the potential for superintelligence lies dormant in matter,

だから超知的な機械の可能性は 休眠状態にあるのです

much like the power of the atom lay dormant throughout human history,

ちょうど原子の力が 1945年に目覚めるまで

patiently waiting there until 1945.

人類の歴史を通じて 休眠状態にあったのと同じように

In this century,

この世紀中に

scientists may learn to awaken the power of artificial intelligence.

科学者達は人工知能の力を 目覚めさせるかもしれません

And I think we might then see an intelligence explosion.

私たちは知性の爆発を目の当たりに することになるかもしれません

Now most people, when they think about what is smart and what is dumb,

頭の良し悪しの尺度というと 多くの人は

I think have in mind a picture roughly like this.

こんなものを イメージするのではと思います

So at one end we have the village idiot,

一方の端に間抜けな人間がいて

and then far over at the other side

遙か彼方の別の極端にいるのが

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

ウィッテンとかアインシュタインです 誰でもお気に入りの天才を置いてください

But I think that from the point of view of artificial intelligence,

しかし人工知能という 観点を加えると

the true picture is actually probably more like this:

実際のイメージは たぶんこんな感じになるでしょう

AI starts out at this point here, at zero intelligence,

人工知能は 知性のない状態からスタートして

and then, after many, many years of really hard work,

長年の努力の後に

maybe eventually we get to mouse-level artificial intelligence,

いつかネズミ並みの知性に 到達できるかもしれません

something that can navigate cluttered environments

雑然とした環境中を ネズミのように

as well as a mouse can.

目的地へと 移動できる能力です

And then, after many, many more years of really hard work, lots of investment,

さらに長年に渡る 多くの努力と投資の末に

maybe eventually we get to chimpanzee-level artificial intelligence.

いつかチンパンジー並みの知性に 到達できるかもしれません

And then, after even more years of really, really hard work,

そこからさらに 長年の大きな努力を重ねて

we get to village idiot artificial intelligence.

間抜けな人間のレベルの 人工知能ができます

And a few moments later, we are beyond Ed Witten.

それから少しばかり後に エドワード・ウィッテンを越えます

The train doesn't stop at Humanville Station.

この列車は人間レベルで 止まりはしません

It's likely, rather, to swoosh right by.

むしろ一瞬で 通り過ぎるでしょう

Now this has profound implications,

これには特に 力関係という点で

particularly when it comes to questions of power.

重大な意味があります

For example, chimpanzees are strong --

たえとば チンパンジーというのは 強いものです

pound for pound, a chimpanzee is about twice as strong as a fit human male.

体重換算すると チンパンジーは 体力に優れた成人男性の倍の力があります

And yet, the fate of Kanzi and his pals depends a lot more

それでもカンジや その仲間達の運命は

on what we humans do than on what the chimpanzees do themselves.

チンパンジー達自身よりは 人間の手に握られています

Once there is superintelligence,

超知的な機械が出現したら

the fate of humanity may depend on what the superintelligence does.

人類の運命は超知的な機械に 握られることになるかもしれません

Think about it:

そのことを考えてみてください

Machine intelligence is the last invention that humanity will ever need to make.

機械の知性は 人類がする必要のある最後の発明です

Machines will then be better at inventing than we are,

機械が人間よりも うまく発明をするようになり

and they'll be doing so on digital timescales.

しかもデジタルの時間尺度で 進歩することでしょう

What this means is basically a telescoping of the future.

それが意味するのは 未来が短縮されるということです

Think of all the crazy technologies that you could have imagined

人類が遠い未来に 実現するかもしれない

maybe humans could have developed in the fullness of time:

夢のようなテクノロジーについて 考えてください

cures for aging, space colonization,

老化を止めるとか 宇宙への移民

self-replicating nanobots or uploading of minds into computers,

自己増殖ナノボットや 意識のコンピュータへのアップロードなど

all kinds of science fiction-y stuff

SFっぽいけれど

that's nevertheless consistent with the laws of physics.

物理法則には 反していないものです

All of this superintelligence could develop, and possibly quite rapidly.

超知的な機械が そういったものを あっさり開発してしまうかもしれません

Now, a superintelligence with such technological maturity

超知的な機械は そのような高度な技術によって

would be extremely powerful,

非常に大きな力を持ち

and at least in some scenarios, it would be able to get what it wants.

シナリオ次第では 望むものを何でも 手に入れるようになるかもしれません

We would then have a future that would be shaped by the preferences of this A.I.

そうすると人類の未来は人工知能が好む通りに 形作られることになります

Now a good question is, what are those preferences?

ここで問題は その好むことが 何かということです

Here it gets trickier.

話しがややこしくなってきますが

To make any headway with this,

この議論を進める上では

we must first of all avoid anthropomorphizing.

何より擬人化を 避けなければなりません

And this is ironic because every newspaper article

皮肉なのは 未来の人工知能を取り上げる記事で

about the future of A.I. has a picture of this:

必ず出てくるのが こんな写真だということです

So I think what we need to do is to conceive of the issue more abstractly,

私たちはこの問題を ハリウッドの鮮明なシナリオに沿ってではなく

not in terms of vivid Hollywood scenarios.

もっと抽象的に 考える必要があります

We need to think of intelligence as an optimization process,

我々は知性を 未来を特定の状態へと舵取りしていく

a process that steers the future into a particular set of configurations.

最適化プロセスとして 捉える必要があります

A superintelligence is a really strong optimization process.

超知的な機械は 非常に強力な最適化プロセスです

It's extremely good at using available means to achieve a state

利用可能な手段を使って 目的が充たされた状態を達成することに

in which its goal is realized.

極めて長けています

This means that there is no necessary conenction between

この意味での 高い知性を持つことと

being highly intelligent in this sense,

人間が価値や意味を認める 目的を抱くことの間には

and having an objective that we humans would find worthwhile or meaningful.

必ずしも関係がありません

Suppose we give an A.I. the goal to make humans smile.

人間を笑顔にさせるという目的を 人工知能に与えたとしましょう

When the A.I. is weak, it performs useful or amusing actions

弱い人工知能は 人が見て笑うような

that cause its user to smile.

何か可笑しいことを するでしょう

When the A.I. becomes superintelligent,

人工知能が 超知的になったなら

it realizes that there is a more effective way to achieve this goal:

この目的を達するには もっと効果的なやり方があることに気付くでしょう

take control of the world

世界をコントロールし

and stick electrodes into the facial muscles of humans

人間の表情筋に 電極を差し込んで

to cause constant, beaming grins.

笑い顔が持続するようにするんです

Another example,

別の例として

suppose we give A.I. the goal to solve a difficult mathematical problem.

人工知能に難しい数学の問題を解くことを 目的として与えたとします

When the A.I. becomes superintelligent,

人工知能が超知的になったら

it realizes that the most effective way to get the solution to this problem

この問題を解くための 最も効果的な方法は

is by transforming the planet into a giant computer,

地球を巨大なコンピュータに変えて

so as to increase its thinking capacity.

思考能力を増大させることだと 考えるかもしれません

And notice that this gives the A.I.s an instrumental reason

このような目的は 人工知能に対して

to do things to us that we might not approve of.

人間が認めないような行為をする動機を 与えうることに注意してください

Human beings in this model are threats,

このモデルにおいては

we could prevent the mathematical problem from being solved.

人間は人工知能にとって数学的問題を解くのを妨げる 邪魔者になりうるのです

Of course, perceivably things won't go wrong in these particular ways;

もちろん物事がこの筋書き通りに まずいことに陥ることはないでしょう

these are cartoon examples.

これはあくまで 戯画化した例です

But the general point here is important:

しかしこの一般的な論点は重要です

if you create a really powerful optimization process

目的Ｘに向けて最大化を行う

to maximize for objective x,

強力な最適化プロセスを 作るときには

you better make sure that your definition of x

Ｘの定義が自分の気にかける その他すべてのことに

incorporates everything you care about.

問題を生じないか よく確認する必要があります

This is a lesson that's also taught in many a myth.

これは伝説が教える 教訓でもあります

King Midas wishes that everything he touches be turned into gold.

ミダス王は自分の触るものすべてが 金になることを望みました

He touches his daughter, she turns into gold.

娘に触れば 娘が金に変わり

He touches his food, it turns into gold.

食べ物に触れば 食べ物が金に変わりました

This could become practically relevant,

これが本当に 問題になるかもしれません

not just as a metaphor for greed,

単なる強欲を諫める メタファーとしてではなく

but as an illustration of what happens

強力な最適化プロセスを作って

if you create a powerful optimization process

間違った あるいは まずく定義された目的を与えたときに

and give it misconceived or poorly specified goals.

何が起きるかを 示すものとしてです

Now you might say, if a computer starts sticking electrodes into people's faces,

コンピュータが人の顔に 電極を差し始めたら

we'd just shut it off.

単にスイッチを切ればいいと 思うかもしれません

A, this is not necessarily so easy to do if we've grown dependent on the system --

(A) そのシステムに依存するようになったとき スイッチを切ることは難しくなります

like, where is the off switch to the Internet?

たとえばの話 インターネットのスイッチは どこにあるのでしょう？

B, why haven't the chimpanzees flicked the off switch to humanity,

(B) チンパンジーはなぜ人間のスイッチを オフにしなかったんでしょう？

or the Neanderthals?

あるいはネアンデルタール人は？

They certainly had reasons.

彼らにはそうすべき理由が あったことでしょう

We have an off switch, for example, right here.

人間を切るスイッチはあります たとえはここに

(Choking)

(うぐぅ)

The reason is that we are an intelligent adversary;

その理由は人間が 知的な相手だからです

we can anticipate threats and plan around them.

人間は危険を予期して 回避することができます

But so could a superintelligent agent,

そしてそれは超知的な機械にも できるだろうことで

and it would be much better at that than we are.

しかも人間よりずっと 上手くできることでしょう

The point is, we should not be confident that we have this under control here.

我々は制御できるはずだと 高をくくらない方がよいということです

And we could try to make our job a little bit easier by, say,

この問題をもう少し簡単にして

putting the A.I. in a box,

人工知能を逃げ出すことのできない

like a secure software environment,

安全なソフトウェア環境や

a virtual reality simulation from which it cannot escape.

仮想現実シミュレーションの中に閉じ込める というのでもいいかもしれません

But how confident can we be that the A.I. couldn't find a bug.

しかし人工知能がシステムの欠陥を見つけたりしないと 自信を持てるでしょうか？

Given that merely human hackers find bugs all the time,

ただの人間のハッカーでさえ 年中バグを見つけていることを思えば

I'd say, probably not very confident.

あまり自信は持てないでしょう

So we disconnect the ethernet cable to create an air gap,

ではネットワークケーブルを抜いて エアギャップを作ればどうか？

but again, like merely human hackers

これにしたって人間のハッカーが ソーシャルエンジニアリングによって

routinely transgress air gaps using social engineering.

エアギャップを越えるということが たびたび起きています

Right now, as I speak,

私が話をしているこの瞬間にも

I'm sure there is some employee out there somewhere

きっとどこかの社員が

who has been talked into handing out her account details

情報管理部門から来たという人間に

by somebody claiming to be from the I.T. department.

アカウントの情報を教えるよう 仕向けられていることでしょう

More creative scenarios are also possible,

もっと奇想天外なシナリオだって 考えられます