Good to be here.

ここに来れてよかった。

Thanks for joining us.

参加してくれてありがとう。

Thanks for having us.

お招きいただきありがとうございます。

The economists got them together to discuss what this technology means for our future, from employment and geopolitics to the survival of liberal democracy.

エコノミストたちは、雇用や地政学から自由民主主義の存続に至るまで、このテクノロジーが私たちの未来にとって何を意味するのかを議論するために彼らを集めた。

If the economic system is fundamentally changed, will liberal democracy as we know it survive?

経済システムが根本的に変われば、我々が知っているような自由民主主義は存続するのだろうか？

Yuval Noah Harari, welcome.

ユヴァル・ノア・ハラリ、ようこそ。

You are a bestselling author, historian, I think a global public intellectual, if not the global public intellectual.

あなたはベストセラー作家であり、歴史家であり、世界的な知識人、いや世界的な知識人であると思う。

Your books from Sapiens to 21 Lessons from the 21st Century have sold huge numbers of copies around the world.

サピエンス』から『21世紀からの21の教訓』まで、あなたの著書は世界中で膨大な部数を売り上げました。

Thank you for joining us.

ご参加ありがとうございます。

It's good to be here.

ここに来られてよかった。

Mustafa Suleiman, wonderful that you can join us too.

ムスタファ・スレイマン、あなたも参加できるなんて素晴らしい。

You're a friend of The Economist, a fellow director on The Economist board.

あなたはエコノミスト誌の友人であり、エコノミスト誌の取締役仲間です。

You are a man at the cutting edge of creating the AI revolution.

あなたはAI革命を起こす最先端にいる人だ。

You are a co-founder of DeepMind.

あなたはディープマインドの共同設立者です。

You're now a co-founder and CEO of Inflection AI.

あなたは現在、Inflection AIの共同設立者兼CEOです。

You are building this future, but you've also just published a book called The Coming Wave, which makes us a little concerned about this revolution that is being unleashed.

あなたはこのような未来を築こうとしているが、『来るべき波』という本も出版したばかりで、私たちはこの革命が解き放たれることを少し心配している。

You're both coming from different backgrounds.

2人とも異なるバックグラウンドを持っている。

You are a historian, a commenter, a man who I believe doesn't use smartphones very much.

あなたは歴史家であり、コメンテーターであり、スマートフォンをあまり使わない人だと思う。

Not very much, no.

あまりない。

Mustafa, as I know from our board meetings, is right at the cutting edge of this, pushing everyone to go faster.

ムスタファは、私たちの理事会で知っているように、この最先端にいて、皆をより速くするよう後押ししている。

So, two very different perspectives, but I thought it would be really interesting to bring the two of you together to have a conversation about what is happening, what is going to happen, what are the opportunities, but also what is at stake and what are the risks.

そこで、お二人をお招きして、何が起きているのか、何が起きようとしているのか、何がチャンスなのか、そして何が問題なのか、何がリスクなのかについて話し合ってもらえたらと思ったのです。

So, let's start, Mustafa, with you.

では、ムスタファ、君から始めよう。

And you are building this future.

そして、あなた方がこの未来を築いている。

So, paint us a picture of what the future is going to be like.

では、未来がどうなるかを描いてください。

And I'm going to give you a timeframe to keep it specific.

そして、具体的にするために時間枠を与えるつもりだ。

So, let's say, I think you wrote in your book that within three to five years that you thought it was plausible that AIs could have human-level capability across a whole range of things.

例えば、あなたは著書の中で、3年から5年以内にAIがあらゆる物事において人間レベルの能力を持つようになる可能性があると書いていたと思います。

So, let's take five years, 2028.

では、5年後の2028年を考えてみよう。

What does the world look like?

世界はどのように見えるのか？

How will I interact with AIs?

私はどのようにAIと交流するのか？

What will we all be doing and not doing?

我々は何をし、何をしないのか？

Well, let's just look back over the last 10 years to get a sense of the trajectory that we're on and the incredible momentum that I think everybody can now see with the generative AI revolution.

さて、過去10年間を振り返って、私たちが歩んできた軌跡と、ジェネレーティブAI革命の驚くべき勢いを感じてみましょう。

Over the last 10 years, we've become very, very good at classifying information.

この10年間で、私たちは情報を分類するのがとてもとても上手になった。

We can understand it, we sort it, label it, organize it, and that classification has been critical to enabling this next wave because we can now read the content of images.

私たちはそれを理解し、分類し、ラベルを付け、整理することができる。そして、その分類は、画像の内容を読み取ることができるようになったため、この次の波を可能にするために非常に重要である。

We can understand text pretty well.

私たちはテキストをかなり理解できる。

We can classify audio and transcribe it into text.

音声を分類し、テキストに書き起こすことができる。

The machines can now have a pretty good sense of the conceptual representations in those ideas.

機械は、それらのアイデアに含まれる概念的な表現について、かなり良い感覚を持つことができるようになった。

The next phase of that is what we're seeing now with the generative AI revolution.

その次の段階が、今私たちが目にしているジェネレーティブAI革命である。

We can now produce new images, new videos, new audio, and, of course, new language.

新しいイメージ、新しいビデオ、新しいオーディオ、そしてもちろん新しい言語を生み出すことができるようになった。

And in the last year or so, with the rise of chat GPT and other AI models, it's pretty incredible to see how plausible and accurate and very finessed to these new language models are.

そして去年あたりから、チャットGPTやその他のAIモデルが台頭してきて、これらの新しい言語モデルがいかにもっともらしく、正確で、非常に精巧なものであるかを目の当たりにするのは、とても信じられないことだ。

In the next five years, the frontier model companies, those of us at the very cutting edge who are training the very largest AI models, are going to train models that are over 1,000 times larger than what you currently see today in GPT-4.

今後5年間で、フロンティア・モデル企業、つまり、非常に大規模なAIモデルをトレーニングしている最先端にいる私たちは、GPT-4で現在見られるものより1000倍以上大きなモデルをトレーニングすることになるだろう。

And with each new order of magnitude and compute, that is 10x more compute used, we tend to see really new capabilities emerge.

そして、新しい桁のコンピュート、つまり10倍のコンピュートが使われるようになるごとに、本当に新しい能力が出現する傾向がある。

And we predict that the new capabilities that will come this time, over the next five years, will be the ability to plan over multiple time horizons.

そして私たちは、今後5年間で新たに生まれる能力として、複数の時間軸でのプランニングが可能になると予測している。

Instead of just generate new text in a one shot, the model will be able to generate a sequence of actions over time.

新しいテキストを一発で生成するのではなく、このモデルは時間をかけて一連のアクションを生成できるようになる。

And I think that that's really the character of AI that we'll see in the next five years.

そしてそれが、今後5年間で我々が目にすることになるAIの本当の姿だと思う。

Artificial capable AIs, AIs that can't just say things, they can also do things.

人工的な能力を持つAI、物事を言うだけでなく、何かをすることもできるAI。

What does that actually mean in practice?

実際にはどうなのか？

Just use your imagination.

想像力を働かせればいい。

Tell me what my life will be like in 2028.

2028年の私の人生を教えてください。

How will I interact with them?

どのように彼らと接するのか？

What will I do?

どうすればいいんだ？

What will be different?

何が変わるのか？

I've actually proposed a modern Turing test, which tries to evaluate for exactly this point.

私は実際に、まさにこの点を評価しようとする現代のチューリングテストを提案したことがある。

The last Turing test simply evaluated for what a machine could say, assuming that what it could say represented its intelligence.

最後のチューリングテストは、機械が何を言うことができるかを単純に評価し、その機械が言うことができることがその機械の知性を表していると仮定した。

Now that we're kind of approaching that moment where these AI models are pretty good, arguably they've passed the Turing test, or maybe they will in the next few years.

今、我々はこれらのAIモデルがかなり優秀で、間違いなくチューリング・テストに合格した、あるいは今後数年のうちに合格するだろうという瞬間に近づいている。

The real question is, how can we measure what they can do?

本当の問題は、彼らができることをどうやって測定するかということだ。

So I've proposed a test which involves them going off and taking a $100,000 investment, and over the course of three months, trying to set about creating a new product, researching the market, seeing what consumers might like, generating some new images, some blueprints of how to manufacture that product, contacting a manufacturer, getting it made, negotiating the price, drop shipping it, and then ultimately collecting the revenue.

そこで私が提案したテストは、10万ドルの投資を受け、3カ月かけて新商品を作り、市場を調査し、消費者が好みそうなものを見極め、新しいイメージとその商品の製造方法の設計図を作成し、メーカーに連絡し、製造してもらい、価格交渉し、ドロップシッピングし、最終的に収益を回収するというものだ。

And I think that over a five-year period, it's quite likely that we will have an ACI, an artificial capable intelligence, that can do the majority of that task autonomously.

そして5年後には、ACI（人工知能）がそのタスクの大半を自律的にこなせるようになる可能性が高いと思う。

It won't be able to do the whole thing, there are many tricky steps along the way, but significant portions of that.

全部をこなすことはできないだろうし、途中には厄介なステップがたくさんあるが、そのかなりの部分をこなすことはできる。

It will be able to make phone calls to other humans to negotiate.

他の人間に電話をかけて交渉することもできるだろう。

It will be able to call other AIs in order to establish the right sequence in a supply chain, for example.

例えば、サプライチェーンにおける正しい順序を確立するために、他のAIを呼び出すことができるようになる。

And of course, it will learn to use APIs, Application Programming Interfaces, so other websites or other knowledge bases or other information stores.

もちろん、API（アプリケーション・プログラミング・インターフェース）を使うことも学ぶだろう。

And so, you know, the world is your oyster.

だから、世界はあなたのものなんだ。

You can imagine that being applied to many, many different parts of our economy.

それが経済のさまざまな部分に適用されることは想像に難くない。

So Yuval, a man who doesn't use a smartphone very much, you listen to this, does it fill you with horror, and do you agree with it?

スマートフォンをあまり使わないユヴァルは、これを聞いて恐怖を感じ、同意するのか？

Do you think that's the kind of thing that is likely to happen in the next five years?

今後5年間にそういうことが起こりそうだと思いますか？

I would take it very seriously.

私なら、とても深刻に受け止めるだろう。

I don't know.

分からないよ。

I'm not coming from within the industry, so I cannot comment on how likely it is to happen.

私は業界内の人間ではないので、その可能性についてコメントすることはできない。

But when I hear this as a historian, for me, what we just heard, this is the end of human history.

しかし、歴史家としてこれを聞くとき、私にとっては、今聞いたことは人類の歴史の終わりである。

Not the end of history, the end of human-dominated history.

歴史の終わりではなく、人間が支配する歴史の終わりである。

History will continue with somebody else in control.

歴史は他の誰かが支配することで続いていく。

Because what we just heard is basically Mustafa telling us that in five years, there'll be a technology that can make decisions independently and that can create new ideas independently.

というのも、私たちが今聞いたのは、基本的にムスタファが5年後には独立して意思決定ができ、独立して新しいアイデアを生み出すことができるテクノロジーが登場するという話だからだ。

This is the first time in history we confronted something like this.

このような事態に直面したのは歴史上初めてのことだ。

Every previous technology in history, from a stone knife to nuclear bombs, it could not make decisions, like the decision to drop the bomb on Hiroshima was not made by the atom bomb.

広島への原爆投下が原子爆弾によって決定されなかったように。

It was made by President Truman.

トルーマン大統領によるものだ。

And similarly, every previous technology in history, it could only replicate our ideas.

同様に、歴史上のあらゆる技術は、私たちのアイデアを複製することしかできなかった。

Like radio or the printing press, it could make copies and disseminate the music or the poems or the novels that some human wrote.

ラジオや印刷機のように、ある人間が書いた音楽や詩や小説をコピーして広めることができる。

Now we have a technology that can create completely new ideas.

今、私たちはまったく新しいアイデアを生み出すことができる技術を持っている。

And it can do it at a scale far beyond what humans are capable of.

しかも、人間の能力をはるかに超えたスケールでそれが可能なのだ。

So it can create new ideas and in important areas within five years, we'll be able to enact them.

だから、新しいアイデアを生み出し、重要な分野では5年以内にそれを実現することができる。

And that is a profound shift.

これは大きな変化だ。

Before we go on to the many ways in which this could be the end of human history, as you put it, and the potential downsides and risks of this, can we just for a second, just indulge me?

あなたがおっしゃるように、これが人類史の終わりとなる可能性のあるさまざまな方法や、その潜在的なマイナス面やリスクについて話を進める前に、ちょっとだけ、私を甘やかしてもらえませんか？

I'm an optimist at heart.

私は根っからの楽天家だ。

Can we talk about the possibilities?

可能性について話しませんか？

What are the potential upsides of this?

これにはどのような利点があるのでしょうか？

Because there are many, and they are really substantial.

たくさんあるし、本当に充実しているからだ。

I think you wrote that there is the potential that this technology can help us deal with incredibly difficult problems and create tremendously positive outcomes.

あなたは、このテクノロジーが信じられないほど難しい問題に対処し、とてつもなくポジティブな結果を生み出す手助けになる可能性があると書いたと思う。

So can we just briefly start with that before we go down the road of the terrible things?

だから、ひどいことを言う前に、そのことから簡単に始めてもいいかな？

When I say the end of human history, again, I'm not talking necessarily about the destruction of humankind or anything like that.

人類の歴史が終わると言っても、必ずしも人類が滅亡するとかそういう話ではない。

There are many positive potential.

ポジティブな可能性はたくさんある。

It's just that control, power, is shifting away from human beings to an alien intelligence, to a non-human intelligence.

ただ、コントロールやパワーが、人間から異星人の知性、人間ではない知性へと移行しているだけなのだ。

We'll also get to that because there's a question of how much power, but let's stick with the potential upsides first.

どれだけのパワーがあるかという問題もあるので、その点にも触れることにするが、まずは潜在的なプラス面について話そう。

The opportunities must suffer.

チャンスは苦しまなければならない。

Everything that we have created in human history is a product of our intelligence.

人類の歴史において私たちが創造したものはすべて、私たちの知性の産物である。

Our ability to make predictions and then intervene on those predictions to change the course of the world is, in a very abstract way, the way we have produced our companies and our products and all the value that has changed our century.

予測を立て、その予測に介入して世界の流れを変えるという我々の能力は、非常に抽象的な言い方をすれば、我々の企業や製品、そして我々の世紀を変えたすべての価値を生み出す方法なのだ。

If you think about it, just a century ago, a kilo of grain would have taken 50 times more labor to produce than it does today.

考えてみれば、ほんの100年前なら、1キロの穀物を生産するのに、現在の50倍の労力が必要だったはずだ。

That efficiency, which is the trajectory you've seen in agriculture, is likely to be the same trajectory that we will see in intelligence.

その効率性は、あなたが農業で見てきた軌跡であり、インテリジェンスでも同じ軌跡をたどるだろう。

Everything around us is a product of intelligence, and so everything that we touch with these new tools is likely to produce far more value than we've ever seen before.

私たちの身の回りにあるものはすべてインテリジェンスの産物であり、私たちがこの新しいツールで触れるものはすべて、これまでとは比べものにならないほどの価値を生み出す可能性がある。

I think it's important to say these are not autonomous tools by default.

これらはデフォルトで自律的なツールではないと言っておくことが重要だと思う。

These capabilities don't just naturally emerge from the models.

これらの能力は、モデルから自然に生まれるものではない。

We attempt to engineer capabilities, and the challenge for us is to be very deliberate and precise and careful about those capabilities that we want to emerge from the model, that we want to build into the model, and the constraints that we build around it.

私たちの課題は、モデルから生まれさせたい能力、モデルに組み入れたい能力、そしてそれを取り巻く制約について、非常に慎重かつ正確に注意深くなることだ。

It's super important not to anthropomorphically project ideas and potential intentions or potential agency or potential autonomy into these models.

このようなモデルに、アイデアや潜在的な意図、潜在的な主体性、潜在的な自律性を擬人的に投影しないことが超重要だ。

The governance challenge for us over the next couple of decades to ensure that we contain this wave is to ensure that we always get to impose our constraints on the trajectory of this development.

今後数十年間、この波を確実に食い止めるためのガバナンスの課題は、この発展の軌道に常に制約を課すことができるようにすることである。

But the capabilities that will arise will mean, for example, potentially transformative improvements in human health, speeding up the process of innovation, dramatic changes in the way scientific discovery is done, tough problems, whether it's climate change.

しかし、今後生まれるであろう能力は、例えば、人間の健康状態を一変させる可能性のある改善や、技術革新のプロセスのスピードアップ、科学的発見の方法の劇的な変化、気候変動などの困難な問題などを意味する。

A lot of the big challenges that we face could be much more easily addressed with this capability.

私たちが直面している大きな課題の多くは、この能力があればもっと簡単に対処できるはずだ。

Everybody is going to have a personal intelligence in their pocket, a smart and capable aide, a chief of staff, a research assistant, constantly prioritizing information for you, putting together the right synthesized nugget of knowledge that you need to take action on at any given moment.

スマートで有能な補佐官、チーフ・オブ・スタッフ、リサーチ・アシスタントが、常にあなたのために情報に優先順位をつけ、その時々にあなたが行動を起こす必要のある知識を正しく統合してくれるのだ。

And that for sure is going to make us all much, much smarter and more capable.

そうすることで、私たちはより賢く、より有能になる。

Does that part of it sound appealing to you, Yuval?

ユヴァル、その部分に魅力を感じるかい？

Yes, absolutely.

そうだ。

I mean, again, if there was no positive potential, we wouldn't be sitting here.

つまり、もしポジティブな可能性がなかったら、私たちはここに座っていない。

Nobody would develop it.

誰も開発しないだろう。

Nobody would invest in it.

誰も投資しないだろう。

Again, it's so appealing.

繰り返すが、とても魅力的だ。

The positive potential is so enormous in everything, again, from much better health care, higher living standards, solving things like climate change.

より良い医療、より高い生活水準、気候変動などの解決など、あらゆる面でプラスの可能性は非常に大きい。

This is why it's so tempting.

だから魅力的なのだ。

This is why we are willing to take the enormous risks involved.

だからこそ、私たちは莫大なリスクを冒すことをいとわないのだ。

I'm just worried that in the end the deal will not be worth it.

ただ、最終的にその契約に見合うだけの価値があるかどうかが心配なんだ。

And I would comment especially on, again, the notion of intelligence.

そして特に、繰り返しになるが、インテリジェンスという概念についてコメントしたい。

I think it's overrated.

過大評価だと思う。

I mean, Homo sapiens at present is the most intelligent entity on the planet.

つまり、現在のホモ・サピエンスは地球上で最も知的な存在なのだ。

It's simultaneously also the most destructive entity on the planet.

それは同時に、地球上で最も破壊的な存在でもある。

And in some ways, also the most stupid entity on the planet.

そしてある意味では、地球上で最も愚かな存在でもある。

The only entity that puts the very survival of the ecosystem in danger.

生態系の存続を危険にさらす唯一の存在。

So you think we are trading off more intelligence with more destructive risk?

つまり、私たちはより多くの知性と、より多くの破壊的なリスクを引き換えにしていると？

Yes.

そうだ。

Again, it's not deterministic.

繰り返すが、決定論的なものではない。

I don't think that we are doomed.

絶望的だとは思わない。

I mean, if I thought that, what's the point of talking about it if we can't prevent the worst case scenario?

そう思ったとしても、最悪のケースを防げないのであれば、それを語る意味はないだろう？

Well, I was hoping you thought you'd have some agency in actually effecting...

まあ、私はあなたが実際に影響を与えることで、何らかの権限があると期待していたんだが......。

We still have agency.

我々にはまだ代理権がある。

There are a few more years, I don't know how many, 5, 10, 30.

あと数年、何年かわからないが、5年、10年、30年。

We still have agency.

我々にはまだ代理権がある。

We are still the ones in the driver's seat shaping the direction this is taking.

私たちはまだ、この方向性を形作る運転席に座っている。

No technology is deterministic.

どんな技術も決定論的なものではない。

This is something, again, we learned from history.

これはまた歴史から学んだことだ。

You can use the same technology in different ways.

同じ技術をさまざまな方法で使うことができる。

You can decide which way to develop it.

どのように発展させるかは自分で決めることができる。

So we still have agency.

だから私たちにはまだ代理権がある。

This is why you have to think very, very carefully about what we are developing.

だからこそ、私たちが何を開発しようとしているのか、とてもとても慎重に考えなければならない。

Well, thinking very carefully about it is something that Mustafa has been doing in this book.

まあ、それについて注意深く考えることは、ムスタファがこの本でやってきたことだ。

And I want to now go through some of the most commonly discussed risks.

これから、よく議論されるリスクをいくつか見ていきたい。

I was trying to work out how I would go in sort of order of badness.

私は、悪い順にどのように行くか考えていた。

So I'm starting with one that is discussed a lot, but relative to human extinction is perhaps less bad, which is the question of jobs.

そこで私は、よく議論されるものから始めるが、人類滅亡と比較すれば、おそらくそれほど悪くはないだろう。

And will, you know, artificial intelligence essentially destroy all jobs because A.I.s will be better than humans at everything?

そして、人工知能はすべての仕事を本質的に破壊してしまうのだろうか？

You know, I'm an economist by training.

私は経済学者だ。

I, you know, history suggests to me that that has never happened before, that the lump of labor fallacy indeed is a fallacy.

歴史が示唆するのは、そのようなことは過去に一度もなかったということだ。

But tell me what you think about that.

でも、それについてどう思うか教えてくれ。

Do you think there is a risk to jobs?

雇用にリスクがあると思いますか？

It depends on the time frame.

時間枠による。

So over a 10 to 20 year period, my intuition, and you're right that so far the evidence doesn't support this, is that there isn't really going to be a significant threat to jobs.

つまり、10年から20年という期間で見れば、私の直感では、今のところ証拠がそれを裏付けていないのはその通りだが、雇用に対する大きな脅威はないだろうということだ。

There's plenty of demands.

要求はたくさんある。

There will be plenty of work.

仕事はたくさんあるだろう。

Right.

そうだね。

Over a 30 to 50 year time horizon, it's very difficult to speculate.

30年から50年という時間軸で考えると、推測するのは非常に難しい。

I mean, at the very least, we can say that two years ago, we thought that these models could never do empathy.

つまり、少なくとも2年前には、このようなモデルが共感を得ることはあり得ないと考えていたと言える。

We said that humans were always going to preserve kindness and understanding and care for one another as a special skill that humans have.

私たちは、人間が持つ特別なスキルとして、優しさや理解、互いへの気遣いを常に守っていくものだと言った。

Four years ago, we said, well, AIs will never be creative.

4年前、私たちは、AIは決して創造的ではない、と言った。

You know, humans will always be the creative ones inventing new things, making these amazing leaps between new ideas.

人間は常に創造的で、新しいものを発明し、新しいアイデアの間で驚くべき飛躍を遂げるものだ。

It's self-evident now that both of those two capabilities are things that these models do incredibly well.

今となっては、この2つの能力が、これらのモデルが驚くほど優れていることは自明だ。

And so I think for a period of time, AIs augment our skills.

だから、ある期間、AIは私たちのスキルを補強してくれると思う。

They make us faster, more efficient, more accurate, more creative, more empathetic and so on and so forth.

より速く、より効率的に、より正確に、より創造的に、より共感的に......。

Over a many decade period, it's much harder to say what are the set of skills that are the permanent preserve of the human species, given that these models are clearly very, very capable.