on the long term future of artificial intelligence.

人工知能の長期的な未来について

In particular, I want to tell you

特にお伝えしたいのは

about a very important phenomenon called "Intelligence Explosion."

"知性の爆発 "という非常に重要な現象について

There are two reasons that I work on intelligence explosion

私が知性爆発に取り組む理由は2つあります。

and that I think it's worth sharing.

そして、それは共有する価値があると思います。

The first is that it's a phenomenon of immense theoretical interest

第一に、理論的な関心が非常に高い現象であるということです。

for those who want to understand intelligence on a fundamental level.

根本的なレベルで知性を理解したい方のために

The second reason is practical.

2つ目の理由は、実用的なものです。

It has to do with the effects that intelligence explosion could have.

知性の爆発がもたらす効果と関係しています。

Depending on the conditions

条件に応じて

under which an intelligence explosion could arise

知性爆発

and on the dynamics that it exhibits

とそれが示す力学について

it could mean that AI changes very rapidly

AIが急速に変化するということかもしれません

from a safe technology, relatively easy to handle,

扱うこと比較的容易な安全な技術から。

to a volatile technology that is difficult to handle safely.

安全に扱うのが難しい揮発性の技術に

In order to navigate this hazard,

この危険をナビゲートするために

we need to understand intelligence explosion.

知性の爆発を理解する必要があります。

Intelligence explosion is a theoretical phenomenon.

知性爆発は理論上の現象です。

In that sense, it's a bit

そういう意味では、ちょっと

like a hypothetical particle in particle physics.

素粒子物理学の仮説粒子のように

There are arguments that explain why it should exist,

なぜ存在しなければならないのかを説明する議論がある。

but we have not been able to experimentally confirm it yet.

とはいえ、まだ実験的には確認できていません。

Nevertheless, the thought experiment

とはいえ、思考実験

that explains what intelligence explosion would look like

知性が爆発するとこうなる

is relatively simple.

は比較的簡単です。

And it goes like this.

そしてこうなる。

Suppose we had a machine

機械があったとしましょう

that was much more capable than today's computers.

今のパソコンよりもはるかに能力が高かった。

This machine, given a task,

この機械は、タスクを与えられた。

could form hypotheses from observations,

観察から仮説を立てることができました。

use those hypotheses to make plans, execute the plans,

それらの仮説を使って計画を立て、計画を実行します。

and observe the outcomes relative to the task,

とタスクに対する相対的な結果を観察します。

and do it all efficiently within a reasonable amount of time.

と、それなりの時間内に効率的に行うことができます。

This kind of machine could be given science and engineering tasks

この種の機械は科学および工学の仕事を与えられることができます

to do on its own, autonomously.

自立して、自律的に行うために。

And this is the key step in the thought experiment:

そして、これが思考実験の重要なステップです。

this machine could even be tasked with performing AI research,

この機械は、AI研究を行うことを任務とすることさえできる。

designing faster and better machines.

より速く、より良い機械を設計します。

Let's say our machine goes to work, and after a while,

我々のマシンが動いたとしよう しばらくしてから

produces blueprints for a second generation of AI,

第二世代のAIの設計図を作成します。

that's more efficient, more capable, and more general than the first.

その方が効率的で有能で一般的なんだよな

The second generation can be tasked once again

第二世代は、もう一度タスクを実行することができます。

with designing improved machines,

改良された機械を設計することで

leading to a third generation, a fourth, a fifth, and so on.

第三世代、第四世代、第五世代へとつながっていく。

An outside observer would see

傍目に見ても

a very large and very rapid increase in the abilities of these machines,

これらの機械の能力が非常に大きく、非常に急速に上昇している。

and it's this large and rapid increase

このような大規模かつ急激な増加

that we call Intelligence Explosion.

私たちは知性の爆発と呼んでいます。

Now if it's the case

さて、もしそうであれば

that in order to undergo an intelligence explosion

知性が爆発するためには

many new pieces of hardware need to be build,

多くの新しいハードウェアを構築する必要があります。

or new manufacturing technologies,

または新しい製造技術。

then an explosion will be more slow

となると爆発はもっと遅くなる

- although still quite fast by historical standards.

- 歴史的基準ではまだかなり速いですが。

However, looking at the history of algorithmic improvement

しかし、アルゴリズム改良の歴史を見ると

it turns out that just as much improvement

それは、それと同じくらい改善されていることが判明しました

tends to come from new software as from new hardware.

新しいハードウェアと同様に新しいソフトウェアから来る傾向があります。

This is true in areas like physics simulation, game playing,

これは、物理シミュレーションやゲームのような分野でも当てはまります。

image recognition, and many parts of machine learning.

画像認識、機械学習の多くの部分をカバーしています。

What this means is that our outside observer may not see physical changes

これが意味するのは、外部の観察者は物理的な変化を見ていないかもしれないということです。

in the machines that are undergoing an intelligence explosion.

知性が爆発的に高まっている機械の中で

They may just see a series of programs

一連の番組を見ているだけかもしれません。

writing successively more capable programs.

能力の高いプログラムを次々と書いていきます。

It stands to reason that this process could give rise to programs

このプロセスがプログラムを生み出すのは当然のことです。

that are much more capable at any number of intellectual tasks than any human is.

どんな人間よりも、どんな知的課題にも対応できる能力を持っている。

Just as we now build machines that are much stronger, faster, and more precise

私たちが今、より強く、より速く、より正確な機械を作っているのと同じように

at all kinds of physical tasks,

あらゆる種類の物理的なタスクで

it's certainly possible to build machines

作ることは可能

that are more efficient at intellectual tasks.

知的な作業を効率的に行うことができる

The human brain is not at the upper end of computational efficiency.

人間の脳は計算効率の上限には達していない。

And it goes further than this.

そして、それはこれよりも先のことです。

There is no particular reason

特に理由はありません。

to define our scale by the abilities of a single human or a single brain.

一人の人間や一人の脳の能力で我々の規模を定義します。

The largest thermonuclear bombs release more energy

最大の熱核爆弾はより多くのエネルギーを放出する

in less than a second

あっという間に

than the human population of Earth does in a day.

地球の人口が一日にするよりも

It's not out of the question to think

と思ってもおかしくはない

that machines designed to perform intellectual tasks

知的作業を行うために設計された機械が

and then honed over many generations of improvement

そして何世代にもわたって磨き上げられた

could similarly outperfom

凌駕する可能性がある

the productive thinking of the human race.

人類の生産的思考

This is the theoretical phenomenon called Intelligence Explosion.

これがインテリジェンス・エクスプロージョンという理論的な現象です。

We don't have a good theory of intelligence explosion yet,

知能爆発の理論はまだない。

but there is reason to think that it could happen at software speed

しかし、それはソフトウェアの速度で発生する可能性があると考える理由があります

and could reach a level of capability

に達する可能性があります。

that's far greater than any human or group of humans

人並み外れた

at any number of intellectual tasks.

知的課題の数だけ

The first time I encountered this argument,

この引数に初めて遭遇しました。

I more or less ignored it.

多かれ少なかれ無視していました。

Looking back it seems crazy for me, someone who takes AI seriously,

振り返ってみると、AIを真面目に受け止めている人は頭がおかしくなっているようだ。

to walk away from intelligence explosion.

知性の爆発から立ち去るために

And I'll give you two reasons for that.

そして、その理由を2つ挙げてみます。

The first reason is a theorist's reason.

第一の理由は、理論家の理由です。

A theorist should be interested in the large-scale features of their field

理論家は自分の分野の大規模な特徴に興味を持つべきである

in the contours of their phenomena of choice as determined by

によって決定された選択の現象の輪郭の中で

the fundamental forces, or interactions, or building blocks of their subject.

その対象の基本的な力、相互作用、または構成要素。

As someone who aspires to be a good theorist of intelligence,

知性の優れた理論家を目指す者として

I can't, in good faith, ignore intelligence explosion

誠意を持って、知能爆発を無視することはできない

as a major feature

目玉として

of many simple straightforward theories of intelligence.

知性に関する多くのシンプルでストレートな理論の

What intelligence explosion means

知性の爆発とは

is that intelligence improvement is not uniform.

は、知能の向上は一様ではないということです。

There is a threshold below which improvements tend to peter out,

改善が鈍化する傾向にある閾値は以下の通りです。

but above that threshold,

が、その閾値を超えている。

intelligence grows like compound interest increasing more and more.

知性は複利がどんどん増えていくように成長していきます。

This threshold would have to emerge from

この閾値は

any successful theory of intelligence.

どんな成功した知性論でも

The way phase transitions emerge from thermodynamics,

相転移が熱力学からどのようにして現れるのか。

intelligence would effectively have a boiling point.

知性は事実上、沸点を持っているだろう。

Seeing this way,

このように見ています。

exploring intelligence explosion is exactly the kind of thing

知性爆発を探るとはまさにこのこと

a theorist wants to do, especially in a field like AI,

理論家がやりたいこと、特にAIのような分野では

where we are trying to move from our current state

現状からの脱却先

,partial theories, pseudotheories, arguments, and thought experiments,

部分理論、疑似理論、議論、思考実験。

toward a fully-fledged predictive theory of intelligence.

本格的な知性の予測理論に向けて

This is the intelligence explosion.

これが知性の爆発です。

In its most basic form,

最も基本的な形で

it relies on a simple premise

一筋縄ではいかない

that AI research is not so different from other intellectual tasks

AI研究は他の知的作業と大差ないこと

but can be performed by machines.

が、機械で行うことができます。

We don't have a good understanding yet,

まだ十分な理解ができていません。

but there's reason to think that it can happen at software speed

しかし、それはソフトウェアの速度で起こる可能性があると考える理由があります。

and reach levels of capability

と能力のレベルに達する

far exceeding any human or group of humans.

どんな人間や集団をも遥かに凌駕する

The second reason which I alluded to at the start of the talk

冒頭で触れた2つ目の理由は

is that intelligence explosion could change AI very suddenly

知性の爆発はAIを突然変える可能性があるということです

from being a benign technology to being a volatile technology

良心的な技術から不安定な技術へ

that requires significant thought into safety

安全性を重視した

before use or even development.

使用する前、あるいは開発する前に。

Today's AI, by contrast, is not volatile.

対照的に今日のAIは、揮発性がありません。

I don't mean that AI systems can't cause harm.

AIシステムが害を及ぼさないわけではありません。

Weaponization of AI is ongoing, and accidental harms can arise

AIの兵器化は進行中で、偶発的な危害が発生する可能性がある

from unanticipated systemic effects or from faulty assumptions.

予期せぬシステミックな影響から、あるいは誤った仮定から。

But on the whole, these sorts of harms should be manageable.

しかし、全体としては、この種の害は管理可能なはずです。

Today's AI is not so different from today's other technologies.

今日のAIは他の技術と大差ない。

Intelligence explosion, however highlights an important fact:

インテリジェンスの爆発は、しかし、重要な事実を強調しています。

AI will become more general, more capable, and more efficient

AIはより一般的になり、より有能になり、より効率的になる

perhaps very quickly

あっという間に

and could become more so than any human or group of humans.

と、どんな人間や集団よりもそうなる可能性があります。

This kind of AI will require

このようなAIには

a radically different approach to be used safely.

安全に使用するための根本的に異なるアプローチ。

And small incidents could plausibly escalate to cause large amounts of harm.

そして、小さな事件がエスカレートして大量の被害を引き起こす可能性があります。

To understand how AI could be hazardous,

AIがどのように危険をもたらすのかを理解するために

let's consider an analogy to microorganisms.

微生物に例えて考えてみましょう。

There are two traits

2つの特徴があります。

that make microorganisms more difficult to handle safely than a simple toxin.

単純な毒素よりも微生物を安全に扱うことを難しくする

Microorganisms are goal-oriented,

微生物は目的意識が強い。

and they are, what I'm going to call, chain reactive.

そして、彼らは、私が呼ぶところの、連鎖反応性を持っています。

Goal-oriented means

目標に向かってという意味

that a microorganisms behaviors

微生物の行動が

tend to push towards some certain result.

ある特定の結果に向かってプッシュする傾向があります。

In their case that's more copies of themselves.

彼らの場合は、自分たちのコピーが多い。

Chain reactive means

チェーン反応性の意味

that we don't expect a group of microorganisms to stay put.

微生物の集団がじっとしていることを期待していないことを

We expect their zone of influence to grow,

彼らの影響範囲が広がることを期待しています。

and we expect their population to spread.

そして、彼らの人口が広がることを期待しています。

Hazards can arise, because a microorganisms

危険性が発生する可能性があります。

values don't often align with human goals and values.

価値観は、人間の目標や価値観と一致しないことが多い。

I don't have particular use

特に使い道がない

for an infinite number of clones of this guy.

こいつのクローンを無限に作るために

Chain reactivity can make this problem worse.

連鎖反応性は、この問題を悪化させる可能性があります。

Since, small releases of a microorganism can balloon

微生物の小さなリリースは、バルーン化することができます。

into large population spending pandemics.

大規模な人口支出のパンデミックに

Very advanced AI, such as could arise from intelligence explosion,

知性の爆発から生じる可能性があるような、非常に高度なAI。

could be quite similar in some ways to a microorganism.

は、いくつかの点で微生物に非常に似ているかもしれません。

Most AI systems are task-oriented.

ほとんどのAIシステムはタスク指向です。

They are designed by humans to complete a task.

彼らは、タスクを完了するために人間によって設計されています。

Capable AIs will use many different kinds of actions

能力のあるAIは、さまざまな種類のアクションを使用します。

and many types of plans to accomplish their tasks.

と多くの種類のプランを用意しています。

And flexible AIs will be able to learn to thrive,

そして、柔軟性のあるAIは繁栄するために学習することができるようになるでしょう。

that is to make accurate predictions and effective plans

予測と計画を立てる

in a wide variaty of environments.

幅広い環境下での使用が可能です。

Since AIs will act to accomplish their tasks as well as possible,

AIは可能な限りタスクを達成するために行動するので

they will also be chain reactive.

彼らはまた、連鎖反応するでしょう。

They'll have use for more resources, they'll want to improve themselves,

彼らは、より多くのリソースのために使用されているでしょう、彼らは自分自身を向上させたいと思っているでしょう。

to spread to other computer systems, to make backup copies of themselves

他のコンピュータシステムに拡散したり、自分自身のバックアップコピーを作成したりすることができます。

in order to make sure that their task gets done.

タスクを確実に完了させるために。

Because of their task orientation and chain reactivity,

タスクの方向性と連鎖反応性があるからだ。

sharing an environment with this kind of AI would be hazardous.

この手のAIと環境を共有するのは危険だろう。

They may use some of the things we care about,

気になるものを使ってくれるかもしれません。

our raw materials, and our stuff to accomplish their ends.

私たちの原料と私たちのものは、彼らの目的を達成するためのものです。

And there is no task that has yet been devised

そして、まだ考案された仕事はありません。

that is compatible with human safety under these circumstances.

このような状況下での人命の安全と両立するような

This hazard has made worse by intelligence explosion,

この危険性は、情報爆発によって悪化しています。

in which very volatile AI could arise quickly from benign AI.

非常に揮発性の高いAIが良性のAIからすぐに発生する可能性があります。

Instead of a gradual learning period,

緩やかな学習期間ではなく

in which we come to terms with the power of very efficient AI,

非常に効率的なAIの力と折り合いをつけています。

we could be thrust suddenly into a world

俄かに世間に突き動かされる

where AI is much more powerful than it is today.

AIが現在よりもはるかに強力になっているところ。

This scenario is not inevitable,

このシナリオは必然ではありません。

it's mostly dependent upon

にかかっている

some research group, or company, or government

けんきゅうしゃ

walking into intelligence explosion blindly.

盲目的に知性爆発の中に入っていく

If we can understand intelligence explosion,

知性の爆発を理解できれば

and if we have sufficient will and self-control as a society,

と、社会としての十分な意志と自制心があれば。

then we should be able to avoid an AI outbreak.

ならば、AIの発生は避けられるはずです。

There is still the problem of chain reactivity though.

しかし、鎖の反応性の問題が残っています。

It would only take one group to release AI into the world

AIを世界に放流するには1つのグループで済むだろう

even if nearly all groups are careful.

ほぼ全てのグループが注意していても

One group walking into intelligence explosion accidently or on purpose

あるグループが誤って、または意図的に情報爆発の中に入っていく

without taking proper precautions,

適切な注意を払わずに

could release an AI that will self-improve

自己改善するAIがリリースされるかもしれない

and cause immense amounts of harm to everyone else.

と、他のすべての人に計り知れないほどの被害を与えます。

I'd like to close with four questions.

4つの質問で締めたいと思います。

These are questions that I'd like to see answered

回答してほしい質問です。

because they'll tell us more about the theory of artificial intelligence

人工知能の理論を詳しく教えてくれるから

and that theory is what will lead us understand intelligence explosion

そして、その理論は知性の爆発を理解することにつながる

well enough to mitigate the risks that it poses.

それがもたらすリスクを十分に軽減するために十分に。

Some of these questions are being actively pursued

これらの疑問のいくつかは、積極的に追求されています。

by researchers at my home institution,

私の所属機関の研究者による

The Future of Humanity Institute at Oxford,

オックスフォードの「人類の未来研究所」。

and by others, like The Machine Intelligence Research Institute.

や、機械知能研究所のような他の人たちによって。

My first question is,

最初の質問は

"Can we get a precise predictive theory of intelligence explosion?"

"知能爆発の正確な予測理論が得られるのか？"

What happens when AI starts to do AI research?

AIがAI研究を始めるとどうなるのか？

In particular, I'd like to know

特に、私が知りたいのは

how fast software can improve its intellectual capabilities.

ソフトウェアがいかに速く知的能力を向上させるか。

Many of the most volatile scenarios we've examined include

私たちが検討した中で最もボラティリティの高いシナリオの多くは以下の通りです。

a rapid self-contained take off,

急速な自己完結型の離陸。

such as could only happen under a software improvement circumstance.

ソフトウェア改善の状況下でのみ起こり得るような。

If there is some key resource that limits software improvement

ソフトウェアの改善を制限する重要なリソースがある場合

or if it's the case that such improvement isn't possible

または、そのような改善ができない場合は

below a certain threshold of capability,

ある一定の閾値以下の能力を持っていることを示しています。

these would be very useful facts from a safety standpoint.

これらは安全面から見ても非常に有用な事実であると思います。

Question two:

第二問

what are our options, political or technological,

私たちの選択肢は何ですか？政治的、技術的に？

for dealing with the potential harms

潜在的な危害に対処するために

from super efficient artificial intelligences?

超効率的な人工知能から？

One option, of course, is to not build them in the first place.

もちろん、そもそも建てないというのも一つの選択肢です。

But this would require exceedingly good cooperation

然しながら、そのためには多大な協力が必要である。

between many governments, commercial entities, and even research groups.

多くの政府、営利団体、さらには研究グループの間で。