our universe has woken up

宇宙の誕生後 138億年もの時を経て

and become aware of itself.

私たちの世界は覚醒し

From a small blue planet,

自らを認識しました

tiny, conscious parts of our universe have begun gazing out into the cosmos

小さな青い惑星から

with telescopes,

この世界のごく小さな領域の 意識あるものが 望遠鏡を使って

discovering something humbling.

この宇宙を見つめ始め

We've discovered that our universe is vastly grander

自らの矮小さを発見しました

than our ancestors imagined

この世界は 私たちの先祖が 想像していたものより

and that life seems to be an almost imperceptibly small perturbation

遥かに壮大であることと

on an otherwise dead universe.

生命は感知できない程度の影響しか及ぼさず それ以外は死んだも同然の

But we've also discovered something inspiring,

静的な世界であると発見したのです

which is that the technology we're developing has the potential

しかし 刺激的なことも発見しました

to help life flourish like never before,

私たちが開発している技術が 今までにないほどに

not just for centuries but for billions of years,

生命の繁栄を手助けをする 可能性を秘めていることです

and not just on earth but throughout much of this amazing cosmos.

それは 何百年に限らず 何十億年と続き

I think of the earliest life as "Life 1.0"

地球上だけではなく この素晴らしい宇宙の大域に及ぶ繁栄なのです

because it was really dumb,

私は一番最初の生命を 「ライフ 1.0」と考えます

like bacteria, unable to learn anything during its lifetime.

バクテリアのように馬鹿で

I think of us humans as "Life 2.0" because we can learn,

一生の間 何も学ぶことができません

which we in nerdy, geek speak,

人類は「ライフ 2.0」と考えます 私たちは学習できるからです

might think of as installing new software into our brains,

それは オタクっぽく言えば

like languages and job skills.

言語や技能といった 新しいソフトウェアを

"Life 3.0," which can design not only its software but also its hardware

脳にインストールすることです

of course doesn't exist yet.

「ライフ 3.0」は ソフトウェアだけでなく ハードウェアも設計できます

But perhaps our technology has already made us "Life 2.1,"

もちろんまだ存在していません

with our artificial knees, pacemakers and cochlear implants.

しかし おそらく私たちは 人工膝関節 ペースメーカーや

So let's take a closer look at our relationship with technology, OK?

人口内耳といった技術によって 既に「ライフ2.1」になっているのでしょう

As an example,

では 私たちと技術の関係性を もっと詳しく見てみましょう

the Apollo 11 moon mission was both successful and inspiring,

例えば

showing that when we humans use technology wisely,

アポロ11号による月への飛行計画は 成功しただけでなく刺激的でもありました

we can accomplish things that our ancestors could only dream of.

この計画が示したことは 人類が賢明なやり方で技術を使えば

But there's an even more inspiring journey

私たちの先祖がただ夢見ただけのことを 成し遂げられるということです

propelled by something more powerful than rocket engines,

しかし これよりさらに 刺激的な宇宙旅行があります

where the passengers aren't just three astronauts

ロケットエンジンより強力な 推進力を得て

but all of humanity.

乗客は３人の宇宙飛行士にとどまらず

Let's talk about our collective journey into the future

全人類なのです

with artificial intelligence.

人工知能を伴い 私たちが集団となって 未来に旅することについて

My friend Jaan Tallinn likes to point out that just as with rocketry,

お話ししましょう

it's not enough to make our technology powerful.

私の友人 ヤーン・タリンが好む議論ですが ロケットの話と似ていて

We also have to figure out, if we're going to be really ambitious,

技術が単に強力になれば 良いというものではなく

how to steer it

もし本当に野心的になろうとするなら

and where we want to go with it.

操縦の仕方と

So let's talk about all three for artificial intelligence:

どこへ向かうべきかも 理解しないといけません

the power, the steering and the destination.

ではこの３つの要素を 人工知能についても議論しましょう

Let's start with the power.

推進力 操縦と目的地です

I define intelligence very inclusively --

推進力から話しましょう

simply as our ability to accomplish complex goals,

私は 知能をかなり広く 定義しています

because I want to include both biological and artificial intelligence.

単に 複雑な目標を 達成する能力という定義です

And I want to avoid the silly carbon-chauvinism idea

何故なら 生物が備える知能と 人工知能の両方を含めたいからです

that you can only be smart if you're made of meat.

肉でできていてはじめて 知的になりうるという

It's really amazing how the power of AI has grown recently.

有機物至上主義のような 馬鹿げた考え方を避けたいのです

Just think about it.

最近のAI技術の発展には驚かされます

Not long ago, robots couldn't walk.

考えてみてください

Now, they can do backflips.

少し前まで ロボットは歩けませんでした

Not long ago,

今では バク転ができるのです

we didn't have self-driving cars.

少し前まで

Now, we have self-flying rockets.

自動運転車はありませんでした

Not long ago,

今では自動飛行するロケットがあります

AI couldn't do face recognition.

少し前まで

Now, AI can generate fake faces

AIは顔認証ができませんでした

and simulate your face saying stuff that you never said.

今では 偽の顔を生成し

Not long ago,

あなたが話す言葉を勝手に作り出し その時の表情までシミュレーションできます

AI couldn't beat us at the game of Go.

少し前まで

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

AIは囲碁で私たちに勝てませんでしたが

and Go wisdom,

Google DeepMindのAlphaZero AIは ３千年に渡る 人間による

ignored it all and became the world's best player by just playing against itself.

囲碁の対局と戦略について

And the most impressive feat here wasn't that it crushed human gamers,

その成果を参照せず AI内部の対戦だけで 世界最強のプレイヤーになりました

but that it crushed human AI researchers

そして最も印象的な出来事は 人間の棋士を倒したことではなく

who had spent decades handcrafting game-playing software.

何十年もの間 ゲームをプレーするソフトを

And AlphaZero crushed human AI researchers not just in Go but even at chess,

自分の手で開発してきた AI研究者たちを圧倒したことです

which we have been working on since 1950.

そして AlphaZeroは囲碁だけでなく 1950年以来 AI研究者が取り組んできた

So all this amazing recent progress in AI really begs the question:

チェスでも圧倒しました

How far will it go?

すると AIの近年の驚くべき進歩によって こんな疑問が生じます

I like to think about this question

どこまで進歩するのか？

in terms of this abstract landscape of tasks,

私はこの疑問を

where the elevation represents how hard it is for AI to do each task

タスクで構成された地形として 捉えるのが好きです

at human level,

標高で表しているのは AIが人間並みに作業をする場合の

and the sea level represents what AI can do today.

難易度で

The sea level is rising as AI improves,

海面は現在のAIができる事を表します

so there's a kind of global warming going on here in the task landscape.

AIが進歩するに従い 海面は上昇していきます

And the obvious takeaway is to avoid careers at the waterfront --

このタスクの地形は 地球温暖化に似た状況になっています

(Laughter)

はっきりしているのは 水際にある職業は避ける事です

which will soon be automated and disrupted.

（笑）

But there's a much bigger question as well.

間も無く自動化され消滅しますから

How high will the water end up rising?

しかし もっと大きな疑問もあります

Will it eventually rise to flood everything,

水面はどこまで上昇するのか？

matching human intelligence at all tasks.

あらゆるタスクで 人間の知能レベルに追いつき

This is the definition of artificial general intelligence --

大地を完全に水没させるのでしょうか

AGI,

これが汎用人工知能—

which has been the holy grail of AI research since its inception.

AGIの定義です

By this definition, people who say,

これは AI研究が始まって以来の 究極の目標となっています

"Ah, there will always be jobs that humans can do better than machines,"

この定義によると

are simply saying that we'll never get AGI.

「機械より 人間の方が上手くできる仕事は 無くならない」と言う人は

Sure, we might still choose to have some human jobs

AGIは実現不可能と 言っているのに過ぎないのです

or to give humans income and purpose with our jobs,

確かに AGIができても 人間は仕事を選んだり

but AGI will in any case transform life as we know it

仕事から給料ややりがいを 得られるかもしれませんが

with humans no longer being the most intelligent.

皆さんがお分かりのとおり いずれにしろ AGIは生活を変化させ

Now, if the water level does reach AGI,

人間はもはや最も知的な存在とは いえなくなることでしょう

then further AI progress will be driven mainly not by humans but by AI,

では もし水面が AGI まで到達すれば

which means that there's a possibility

その先のAIの進歩は 主に人間ではなく AIによって進められます

that further AI progress could be way faster

ということは

than the typical human research and development timescale of years,

その先のAIの進歩は

raising the controversial possibility of an intelligence explosion

通常何年もかかる人間による研究や開発より かなり速くなる可能性があります

where recursively self-improving AI

したがって 議論を呼ぶ「知能の爆発」が 起こる可能性が高まります

rapidly leaves human intelligence far behind,

再帰的に自己改善するAIによって

creating what's known as superintelligence.

人間の知能がはるか後方に取り残され

Alright, reality check:

「超知能」というものが造られるのです

Are we going to get AGI any time soon?

では 現実に起こり得るか 検討してみましょう

Some famous AI researchers, like Rodney Brooks,

AGIはすぐにでも作られるのでしょうか？

think it won't happen for hundreds of years.

ロドニー・ブルックスのような 有名なAI研究者は

But others, like Google DeepMind founder Demis Hassabis,

数百年以内には起こらないと言います

are more optimistic

しかし Google DeepMind の創立者 デミス・ハサビスといった人たちは

and are working to try to make it happen much sooner.

もっと楽観的で

And recent surveys have shown that most AI researchers

AGIをできるだけ早く 作るために努力しています

actually share Demis's optimism,

そして 最近の調査によると ほとんどのAI研究者は

expecting that we will get AGI within decades,

デミスの様に楽観的で

so within the lifetime of many of us,

AGIは数十年以内に作れると予測しています

which begs the question -- and then what?

つまり 私たちがまだ 生きているうちにできるのです

What do we want the role of humans to be

ここで疑問が生じます― その後どうなるのか？

if machines can do everything better and cheaper than us?

機械が私たちより 何でも安く上手にできるなら

The way I see it, we face a choice.

人間はどんな役割を担えばよいのでしょう？

One option is to be complacent.

私たちは選択を迫られると思います

We can say, "Oh, let's just build machines that can do everything we can do

１つ目は満足することです

and not worry about the consequences.

「じゃあ 私たちができる事なら 何でもできる機械を作って

Come on, if we build technology that makes all humans obsolete,

その後のことは心配しないでいい

what could possibly go wrong?"

ほら 人間を時代遅れの立場に置く 技術を開発したところで

(Laughter)

何も問題ないだろう？」と言うのです

But I think that would be embarrassingly lame.

（笑）

I think we should be more ambitious -- in the spirit of TED.

しかし それは極めてまずいと思います

Let's envision a truly inspiring high-tech future

私は TEDの様に もっと野心的で あるべきだと思います

and try to steer towards it.

真に心を打つハイテクな未来を想像し

This brings us to the second part of our rocket metaphor: the steering.

そちらへと向けて操縦してみましょう

We're making AI more powerful,

ここから ロケットのたとえの第２部 「操縦」へと話を移します

but how can we steer towards a future

どんどん強力なAIが 作られていきますが

where AI helps humanity flourish rather than flounder?

AIが人類をまごつかせるのではなく AIが人類の繁栄に役立つような

To help with this,

そんな未来に向かうには どう操縦すればよいのでしょうか？

I cofounded the Future of Life Institute.

その問題解決のために

It's a small nonprofit promoting beneficial technology use,

Future of Life Instituteを 共同設立しました

and our goal is simply for the future of life to exist

小さな非営利組織で 有益な技術を促進しており

and to be as inspiring as possible.

その目的はシンプルで 生命が存在できて

You know, I love technology.

できるだけ刺激的な 未来にすることです

Technology is why today is better than the Stone Age.

もちろん 私は技術を愛しています

And I'm optimistic that we can create a really inspiring high-tech future ...

現代が石器時代より良いのは 技術のおかげです

if -- and this is a big if --

そして真に刺激的なハイテクな未来を 作れると楽観的に考えています

if we win the wisdom race --

もし — 万が一の話ですが —

the race between the growing power of our technology

もし人類が知恵の競争で勝ったら？

and the growing wisdom with which we manage it.

これは 技術が生み出す能力の成長と

But this is going to require a change of strategy

人類が技術を管理するための 知恵の強化との間の競争です

because our old strategy has been learning from mistakes.

しかし 勝つには戦略を 変えなければいけません

We invented fire,

古い戦略とは 失敗から学ぶことだからです

screwed up a bunch of times --

私たちは 火を発明し

invented the fire extinguisher.

幾度も失敗して

(Laughter)

消火器を発明したのです

We invented the car, screwed up a bunch of times --

（笑）

invented the traffic light, the seat belt and the airbag,

私たちは車を発明し 幾度も失敗して

but with more powerful technology like nuclear weapons and AGI,

信号とシートベルトと エアバッグを発明したのです

learning from mistakes is a lousy strategy,

一方 核兵器やAGIのように ずっと強力な技術の場合

don't you think?

失敗から学ぶというのは お粗末な戦略だとは

(Laughter)

思いませんか？

It's much better to be proactive rather than reactive;

（笑）

plan ahead and get things right the first time

後手の対応より 先手を打つ方が ずっと良いのです

because that might be the only time we'll get.

事前に計画して一発で成功させるのです

But it is funny because sometimes people tell me,

チャンスは一度だけかもしれませんから

"Max, shhh, don't talk like that.

でも こう言われると変な感じがします

That's Luddite scaremongering."

「マックス そんな風に言うなよ そんなの―

But it's not scaremongering.

技術革新反対主義者のデマだぜ」と

It's what we at MIT call safety engineering.

しかし デマではないのです

Think about it:

MITではこれを安全工学と 呼んでいます

before NASA launched the Apollo 11 mission,

考えてみてください

they systematically thought through everything that could go wrong

NASAがアポロ11号を打ち上げる前

when you put people on top of explosive fuel tanks

彼らは 起こり得るトラブルを 全て 系統的に検討しました

and launch them somewhere where no one could help them.

なにしろ 爆発しやすい燃料タンクの上に 人間を座らせて

And there was a lot that could go wrong.

誰も助けられない所に向けて 打ち上げるからです

Was that scaremongering?

起こり得るトラブルは たくさんありました

No.

それはデマでしたか？

That's was precisely the safety engineering

いいえ

that ensured the success of the mission,

それこそが安全工学なのです

and that is precisely the strategy I think we should take with AGI.

飛行の成功を保証したのです

Think through what can go wrong to make sure it goes right.

私はまさにこの戦略をAGIでも 取るべきだと思います

So in this spirit, we've organized conferences,

成功を保証するために 起こりそうな問題を徹底的に考えるのです

bringing together leading AI researchers and other thinkers

この精神をもって 会議を開きました

to discuss how to grow this wisdom we need to keep AI beneficial.

一流のAI研究者や その他の思想家と共に

Our last conference was in Asilomar, California last year

AIが有益であり続けるために必要な 知恵を身に付ける方法を議論しました

and produced this list of 23 principles

前回の会議はカリフォルニアの アシロマで昨年開催され

which have since been signed by over 1,000 AI researchers

23ヶ条の原則を作成しました

and key industry leaders,

これは千人以上のAI研究者と 産業界の主な指導者によって

and I want to tell you about three of these principles.

署名されました

One is that we should avoid an arms race and lethal autonomous weapons.

そのうちの３ヶ条についてお話しします

The idea here is that any science can be used for new ways of helping people

１つ目は軍拡競争と 自律型の殺人兵器を控えることです

or new ways of harming people.

科学は 人を助けるため もしくは 人を傷つけるための

For example, biology and chemistry are much more likely to be used

新たな方法として使えます

for new medicines or new cures than for new ways of killing people,

例えば 生物学と化学は 人を殺す方法としてではなく

because biologists and chemists pushed hard --

新薬や新たな治療法の開発のために 使われる可能性の方がずっと高いです

and successfully --

なぜなら 生物学者と化学者は

for bans on biological and chemical weapons.

生物兵器と化学兵器の禁止を

And in the same spirit,

強く推進し 成功したからです

most AI researchers want to stigmatize and ban lethal autonomous weapons.

同じような考えで

Another Asilomar AI principle

ほとんどのAI研究者は自律型の殺人兵器を 非難し禁止することを望んでいます

is that we should mitigate AI-fueled income inequality.

もう一つのアシロマでの原則は

I think that if we can grow the economic pie dramatically with AI

AIによって引き起こされる 所得格差を和らげることです

and we still can't figure out how to divide this pie

もしAIによって経済的な利益が 著しく増えても

so that everyone is better off,

誰もが豊かになるように 増益分を配分する方法が

then shame on us.

見つけられなければ

(Applause)

私たちにとって恥です

Alright, now raise your hand if your computer has ever crashed.

（拍手）

(Laughter)

さて コンピューターが異常終了したことの ある人は手をあげてください

Wow, that's a lot of hands.

（笑）

Well, then you'll appreciate this principle

ずいぶん 手が上がりましたね

that we should invest much more in AI safety research,

それなら次の原則を 理解していただけるでしょう

because as we put AI in charge of even more decisions and infrastructure,

AIの安全性の研究に もっと投資するという原則です

we need to figure out how to transform today's buggy and hackable computers

なぜなら AIを意思決定や インフラへ利用することが増えるにつれ

into robust AI systems that we can really trust,

バグが多く ハッキングされやすい 現在のコンピューターを 信頼度が高く

because otherwise,

安定に動作するAIに変える方法を 見つける必要があります

all this awesome new technology can malfunction and harm us,

そうしなければ

or get hacked and be turned against us.

この素晴らしい新技術は 誤動作を起こして被害を与え

And this AI safety work has to include work on AI value alignment,

ハッキングされ 私たちを攻撃するかもしれません

because the real threat from AGI isn't malice,

また安全性研究の一環として AIの価値観を 私たちの価値観と一致させる研究が必要です

like in silly Hollywood movies,

AGIの真の脅威は 馬鹿げたハリウッド映画のような

but competence --

人間への敵意などではなく

AGI accomplishing goals that just aren't aligned with ours.

その能力にあります

For example, when we humans drove the West African black rhino extinct,

私たちの目標に合致しないことを 成し遂げてしまいかねないからです

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

例えば 私たち人間が 西アフリカの クロサイを絶滅させたのは

We did it because we were smarter than them

私たちはサイを狩る邪悪な 集団だったからではないですよね？

and our goals weren't aligned with theirs.

私たちは奴らより利口で

But AGI is by definition smarter than us,

私たちの目的が相手と 一致しなかったからなのです

so to make sure that we don't put ourselves in the position of those rhinos

しかし AGIは 定義上 私たちより利口なので

if we create AGI,

私たちをサイの立場に置かないためには

we need to figure out how to make machines understand our goals,

AGIを作る時に

adopt our goals and retain our goals.

機械に私たちの目的を理解させ

And whose goals should these be, anyway?

それを採用し 保持させる方法を 見出す必要があります

Which goals should they be?

また これは誰の目的で あるべきなのでしょうか？