If we're going to make entities, machines that are more intelligent than us, they would be more powerful than human beings.

もし、私たちよりも知能の高い存在、機械を作るとしたら、それは人間よりも強力な存在になるはずです。

And so then the question is:

そうすると、問題は、

How do we retain power forever over entities that are more powerful than ourselves?

どうすれば、自分より力のある存在に対して、永遠に力を保つことができるのか。

About five years ago, what had previously been a very obscure branch of AI technology, suddenly began to take off.

5年ほど前、それまでAI技術の一分野としてあまり知られていなかったものが、突如として注目を浴び始めました。

These developments represent a tipping point in the history of the field.

これは、この分野の歴史の転換点です。

And they're giving people now, in a very real sense, what would it be like if we had artificial and general intelligence without regulation to ensure that those systems are safe.

もし、人工知能や一般知能が安全なシステムであることを保証するための規制がなければ、どのようなことになるのか、非常に現実的な意味で、人々に教えてくれているのです。

We may well lose control over our own future.

私たちは、自分たちの未来をコントロールできなくなるかもしれません。

My name is Stuart Russell.

私の名前はスチュアート・ラッセルです。

I work in the area of artificial intelligence, and have been doing so for about 45 years.

人工知能の分野で45年間働いています。

As soon as we had working computers, the people who developed them wanted to make those machines intelligent.

コンピュータを開発した人たちは、そのコンピュータに知能を持たせようとしました。

And then about five years ago, language models suddenly began to take off.

そして、5年ほど前から、言語モデルが急に流行り始めました。

So a "language model" is a predictor that says, "Given a sequence of words, what's the next word likely to be?"

言語モデルとは、"一連の単語があるとき、次の単語は何になる可能性が高いか？"を予測するものです。

The latest model, GPT-4 from OpenAI, is a 32,768-gram model, meaning it predicts the next word from the preceding 32,767 words.

OpenAIのGPT-4という最新のモデルは、32,768グラムのモデルで、前の32,767語から次の単語を予測します。

So that's an enormous model.

ということは、膨大なモデルですね。

All of a sudden, these language models went from being a little, niche technology to something that appears to be extremely intelligent.

突然ですが、この言語モデルは、小さなニッチな技術から、極めて知的なものへと変化したのです。

You can ask it to draw pictures.

絵を描かせることができる。

You can ask it to write code.

コードを書かせることができます。

You can say, "I've forgotten the proof of Pythagoras' theorem, but I'd love you to give it to me in the form of a Shakespeare sonnet," and it will do that.

「ピタゴラスの定理の証明を忘れてしまったけど、シェイクスピアのソネットの形で教えてほしい」と言えば、それを実行してくれます。

The interesting question is: Is it intelligence?

興味深いのは、それが知性なのかどうかということです。

Has the system built an internal representation of the world?

システムは世界の内部表現を構築したのだろうか？

And the answer is: We haven't the faintest idea.

そして、その答えは：「全く分からない」です。

A lot of people ask me, "Should we be worried about these systems?"

多くの人が、"このようなシステムを心配する必要があるのか？"と私に尋ねます。

I think it's unlikely that the current generation of models represent a real threat to human control.

私は、現世代のモデルが人間のコントロールに対する真の脅威となるとは考えにくいと思っています。

I don't wanna come across as a naysayer or a Luddite, but I think we could face serious risks:

否定派やラッダイトと思われたくないですが、深刻なリスクに直面する可能性はあると思います：

When you release a system, you should provide convincing evidence that it's going to behave itself,

システムをリリースするときは、そのシステムが自ら行動するという説得力のある証拠を提示すべきです、

that it's not going to cause risks to people by giving medical advice or advising them to commit suicide.

また、医療的なアドバイスや自殺を勧めるなど、人々に危険を及ぼすようなものでないことを証明する必要があります。

The threat that most people recognize, that something that can outthink human beings,

多くの人が認識している脅威、それは人間を凌駕することができるものであり、

what some people call 'AGI' or Artificial General Intelligence,

AGI (汎用人工知能)と呼ばれるもので、

would clearly represent a threat to humanity if we couldn't figure out how to solve the control problem.

もし、制御の問題を解決できなければ、人類にとって脅威となることは明らかです。

The way we develop AI systems, we specify an objective, and off it goes.

AIシステムの開発では、目的を指定し、それを実行します。

If the system knows the objective, they're gonna pursue it at all costs.

システムが目的を知っていれば、どんな犠牲を払ってもそれを追い求めるでしょう。

What happens if we specify the objective incorrectly?

目的を間違って指定するとどうなるでしょか？

Imagine, for example, that an AI system is helping us figure out how to fix climate change.

例えば、AIシステムが気候変動を解決する方法を考えるのを手伝ってくれると想像してください。

One of the consequences we don't like is the acidification of the oceans.

私たちが望まない結果のひとつに、海洋の酸性化があります。

AI system figures this all out, but the catalytic reaction starts to absorb oxygen from the atmosphere, and that's enough for us all to die slowly and painfully.

AIはそれを全て解決したけど、触媒反応によって大気中の酸素を吸収してしまい、その結果私たちはゆっくりと死ぬのです。

Changing the way we think about AI so that their only goal is to bring about the futures that we humans prefer,

私たち人間が好む未来を実現することだけがAIの目的であるように、AIに対する考え方を変えていくことで、

you get this very different kind of behavior that defers to humans, that asks permission, that is cautious.

このように、人間に従う、許可を求める、用心深くなるという、まったく異なる行動をとるようになるのです。

It'll ask permission before messing with the oceans.

海をいじる前に許可を取ります。

It'll say, "Is it okay to get rid of a quarter of the oxygen in the atmosphere?"

"大気中の酸素の4分の1がなくなってもいいのか？"と言うでしょう。

And we would say, "Ah, no, don't like that."

そして私たちは"そんなの嫌だ "と言うでしょう。

We have to start designing standards to make sure that whenever you design AI systems and release them in the world, that they conform to this basic design template.

AIシステムを設計し、世に送り出す際には、必ずこの基本設計テンプレートに準拠するような標準設計を始めなければなりません。

So what I'm working on is a new way of thinking about AI that is not susceptible to this problem.

ですから、私が取り組んでいるのは、この問題の影響を受けにくい新しいAIの考え方なのです。

We're going to need regulation.

規制が必要になってきますね。

In fact, I think it's long past the time when we need some regulation.

実際、規制が必要な時期はとっくに過ぎてると思うんですが。

If we do, we really could do marvelous things.

そうすれば、本当にすごいことができるかもしれません。

We could greatly accelerate the rate of scientific progress.

科学の進歩の速度を大幅に加速させることができます。

We could have much better healthcare.

医療をもっと充実させることができます。

Maybe we could have better politics.

もっといい政治ができるかもしれません。

So I don't want to say we should cut off AI research at this stage.

だから、今の段階でAIの研究を断ち切るべきだとは言いたくないんです。

We accept these types of regulations in many, many other spheres.

他の多くの分野で、この種の規制を受け入れています。

For example, in aviation, you can develop supersonic aircraft, but you can't put passengers in them until you've shown that they are safe.

例えば、航空分野では、超音速機を開発しても、安全性が確認されるまでは乗客を乗せることはできないのです。

We're still at the very early stages of figuring out how to do this type of regulation, but now that AI systems are really quite powerful,

このような規制をどのように行うかについては、まだ非常に初期の段階ですが、現在、AIシステムは実に強力です、

now that they can talk to someone for days on end, we need to have guarantees that the systems don't pose an undue risk.

しかし、何日間も通話ができるようになった今、そのシステムが過度なリスクをもたらさないという保証が必要です。