these days.

最近では

Some people claim computers will eventually gain superintelligence, be able to outperform

コンピュータが超知性を獲得し、最終的には人間を超えることができるようになると主張する人もいます。

humans on any task, and destroy humanity.

どんな仕事でも人間にやらせて、人類を滅ぼす。

Other people say “don't worry, AI will just be another tool we can use and control,

また、「心配しなくても、AIは私たちが使ってコントロールできるツールの一つになるだけだ」と言う人もいます。

like our current computers.”

現在のコンピュータのように」。

So we've got physicist and AI-researcher Max Tegmark back again to share with us the

物理学者であり、AI研究者でもあるマックス・テグマーク氏に再び登場していただき、以下のような話をしていただきました。

collective takeaways from the recent Asilomar conference on the future of AI that he helped

最近開催されたAIの未来についてのAsilomar会議で得られた集合的な収穫。

organize – and he's going to help separate AI myths from AI facts.

整理-AIの神話とAIの事実を分ける手助けをしてくれそうです。

Max: Hello!

Max: Hello!

Henry: First of all, Max, machines (including computers) have long been better than us at

ヘンリーまず第一に、マックス、機械（コンピュータを含む）は、昔から人間よりも優れていました。

many tasks, like arithmetic, or weaving, but those are often repetitive and mechanical

算数や織物など、多くの作業がありますが、それらは反復的で機械的なものが多いです。

operations.

の操作を行います。

So why shouldn't I believe that there are some things that are simply impossible for

では、どうしても不可能なことがあると信じてはいけないのだろうか。

machines to do as well as people?

人だけでなく、機械にもできることがあるのでは？

Say making minutephysics videos, or consoling a friend?

ミニッツ物理学のビデオを作るとか、友達を慰めるとか。

Max: Well, we've traditionally thought of intelligence as something mysterious that

マックス：伝統的に、私たちは知性を神秘的なものと考えてきました。

can only exist in biological organisms, especially humans.

は、生物、特に人間にしか存在しない。

But from the perspective of modern physical science, intelligence is simply a particular

しかし、現代の物理科学の観点からは、知能は単に特定の

kind of information processing and reacting performed by particular arrangements of elementary

素子の特定の配列によって実行される情報処理と反応の種類。

particles moving around, and there's no law of physics that says it's impossible

粒子が動いているのに、それが不可能だという物理法則はありません。

to do that kind of information processing better than humans already do.

は、そのような情報処理を人間以上に行うことができる。

It's not a stretch to say that earthworms process information better than rocks, and

岩石よりもミミズの方が情報の処理能力が高いと言っても過言ではありませんし

humans better than earthworms, and in many areas, machines are already better than humans.

人間はミミズよりも優れており、多くの分野で機械はすでに人間よりも優れています。

This suggests we've likely only seen the tip of the intelligence iceberg, and that

これは、私たちがまだインテリジェンスの氷山の一角を見たに過ぎないことを示唆しています。

we're on track to unlock the full intelligence that's latent in nature and use it to help

私たちは、自然界に潜在する知性を最大限に引き出し、それを使って

humanity flourish - or flounder.

人類は繁栄するか、それとも衰退するか。

Henry: So how do we keep ourselves on the right side of the “flourish or flounder”

ヘンリー：では、どうすれば "栄枯盛衰 "の正しい道を歩むことができるのでしょうか？

balance?

バランスは？

What, if anything, should we really be concerned about with superintelligent AI?

超知的なAIについて、私たちが本当に心配すべきことは何でしょうか？

Max: Here's what has many top AI researchers concerned: not machines or computers turning

マックス：多くのトップAI研究者が懸念しているのは、機械やコンピュータの回転ではなく

evil, but something more subtle: superintelligence that simply doesn't share our goals.

邪悪なものではなく、もっと微妙なもので、単に我々の目標を共有しない超知性です。

 If a heat-seeking missile is homing in on you, you probably wouldn't think: “No

熱線型ミサイルが自分に向かってきても、「いやだ」とは思わないでしょう。

need to worry, it's not evil, it's just following its programming.”

心配する必要はありません。それは悪ではなく、プログラムに従っているだけです」。

No, what matters to you is what the heat-seeking missile does and how well it does it, not

そうではなく、あなたにとって重要なのは、熱探知ミサイルが何をするのか、そしてそれがどれほど優れているのか、ということであって

what it's feeling, or whether it has feelings at all.

何を感じているのか、あるいは感情があるのか。

The real worry isn't malevolence, but competence.

本当に心配なのは、悪意ではなく、能力です。

A superintelligent AI is by definition very good at attaining its goals, so the most important

スーパーインテリジェントなAIは、その目標を達成するのに非常に優れていると定義されているため、最も重要なのは

thing for us to do is to ensure that its goals are aligned with ours.

私たちがすべきことは、その目標が私たちの目標と一致しているかどうかを確認することです。

As an analogy, humans are more intelligent and competent than ants,  and if we want

例えて言えば、人間はアリよりも知能や能力が高く、欲を言えば

to build a hydroelectric dam where there happens to be an anthill, there may no malevolence

たまたま蟻塚があったところに水力発電のダムを作るのは、悪意がないかもしれないが

involved, but, well... too bad for the ants.

巻き込まれたが、まあ...アリはかわいそうだ。

Cats and dogs, on the other hand, have done a great job of aligning their goals with the

一方、猫や犬は、自分の目標に合わせて、見事に

goals of humans – I mean, even though I'm a physicist, I can't help think kittens

人間の目標 - つまり、私は物理学者ですが、子猫のことを考えずにはいられません。

are the cutest particle arrangements in our universe...

は、私たちの宇宙で最もキュートな粒子の配列です。

If we build superintelligence, we'd be better off in the position of cats and dogs than

超知能を作っても、犬猫の立場の方が

ants.

蟻です。

Or better yet, we'll figure out how to ensure that AI adopts our goals rather than the other

もっと言えば、AIが私たちの目標を採用するようにするにはどうしたらいいかを考えます。

way around.

の方法を採用しました。

Henry: And when exactly is superintelligence going to arrive?

ヘンリー超知性はいつ頃やってくるのでしょうか？

When do we need to start panicking?

いつになったらパニックになるのか？

Max: First of all, Henry, superintelligence doesn't have to be something negative.

マックス：まず、ヘンリー、超知性はネガティブなものである必要はありません。

In fact, if we get it right, AI might become the best thing ever to happen to humanity.

むしろ、うまくいけば、AIは人類にとって最高のものになるかもしれません。

Everything I love about civilization is the product of intelligence, so if AI amplifies

私が愛してやまない文明はすべて知性の産物ですから、もしAIが増幅したら

our collective intelligence enough to solve today's and tomorrow's greatest problems,

今日の、そして明日の最大の問題を解決するのに十分な、私たちの集合的な知性。

humanity might flourish like never before.

人類はかつてないほどに繁栄するかもしれない。

Second, most AI researchers think superintelligence is at least decades away...

第二に、ほとんどのAI研究者は、超知能の実現は少なくとも数十年先だと考えています。

Buuuut the research needed to ensure that it remains beneficial to humanity (rather

しかし、それが人類にとって有益なものであり続けるために必要な研究は、（むしろ

than harmful) might also take decades, so we need to start right away.

有害なものではなく）も数十年かかるかもしれないので、すぐにでも始めなければなりません。

For example, we'll need to figure out how to ensure machines learn the collective goals

例えば、機械が集合的な目標を学習するにはどうすればよいかを考えなければなりません。

of humanity, adopt these goals for themselves, and retain the goals as they keep getting

人類のために、この目標を自分たちのために採用し、その目標を維持し続けていく。

smarter.

スマートになりました。

And what about when our goals disagree?

また、目標が一致しない場合はどうでしょうか。

Should we vote on what the machine's goals should be?

マシンの目標を何にするかを投票で決めるべきか？

Just do whatever the president wants?

大統領の意向に沿うように？

Whatever the creator of the superintelligence wants?

超知性の創造者が望むものは何でも？

Let the AI decide?

AIに判断させる？

 In a very real way, the question of how to live with superintelligence is a question

非常に現実的な意味で、超知性とどう付き合っていくかという問題は

of what sort of future we want to create for humanity.

人類のためにどのような未来を創造したいのか。

Which obviously shouldn't just be left to AI researchers, as caring and socially skilled

これは明らかにAI研究者だけに任せるべきではなく、思いやりや社会性のある

as we are.;)

私たちのように;)

Henry: Thanks, Max!

Henry: Thanks, Max!

So, uh, how do I get involved to make sure we don't end up living in a superintelligence-powered

どうすれば超知能社会にならずに済むのか？

dictatorship?

独裁者？

Max: At the Future of Life Institute (Henry interjects: which is sponsoring this video),

マックス：Future of Life Institute（ヘンリーが口火を切り、このビデオを後援している）にて。

we've built a site where you can go to answer questions, ask questions, and otherwise contribute

私たちは、質問に答えたり、質問をしたり、その他の貢献ができるサイトを作りました。

your thoughts to help shape the future of AI policy and research.

今後のAI政策や研究の方向性を決めるために、あなたの考えをお聞かせください。

Link's in the video description.

リンクはビデオの説明にあります。

Henry: Awesome.

ヘンリーAwesome.