The people who manage the social media companies, they are not evil, they just really didn't foresee.

ソーシャルメディア企業を管理している人たちは、悪人ではなく、本当に予見していなかっただけなのだ。

This is the problem.

これが問題なのだ。

I mean because we don't know if they really have consciousness or they're only very very good at mimicking consciousness.

つまり、彼らが本当に意識を持っているのか、それとも意識を模倣するのが非常にうまいだけなのか、わからないからだ。

In the Hollywood scenario, you have the killer robots shooting people.

ハリウッドのシナリオでは、殺人ロボットが人々を撃ち殺す。

In real life, it's the humans pulling the trigger but the AI is choosing the targets.

現実の世界では、引き金を引くのは人間だが、ターゲットを選ぶのはAIだ。

I think maybe the most important thing is really to understand what AI is because now there is so much hype around AI that it's becoming difficult for people to understand what is AI.

最も重要なことは、AIが何であるかを理解することだと思う。なぜなら、現在、AIをめぐる誇大広告が多すぎて、人々がAIとは何かを理解することが難しくなっているからだ。

Now everything is AI.

今はすべてがAIだ。

So you know your coffee machine is now a coffee machine, is an AI coffee machine and your shoes are AI shoes.

コーヒーメーカーがAIコーヒーメーカーになり、靴がAI靴になった。

And what is AI?

AIとは何か？

You know the key thing to understand is that AIs are able to learn and change by themselves, to make decisions by themselves, to invent new ideas by themselves.

理解すべき重要なことは、AIは自分で学習し、自分で変化し、自分で決断し、自分で新しいアイデアを生み出すことができるということだ。

If a machine cannot do that, it's not really an AI and therefore by definition something that we cannot predict how it will develop and evolve and for good or for bad.

もし機械にそれができなければ、それは本当のAIではなく、したがって定義上、それがどのように発展し進化していくのか、良い意味でも悪い意味でも予測できないものなのだ。

It can invent medicines and treatments we never thought about but it can also invent weapons and dangerous strategies that go beyond our imagination.

私たちが考えもしなかったような薬や治療法を発明することもできるし、私たちの想像を超えるような武器や危険な戦略を発明することもできる。

You characterize AI not as artificial intelligence but as alien intelligence.

あなたはAIを人工知能としてではなく、エイリアン・インテリジェンスとしている。

You give it a different term.

あなたはそれを別の言葉で表現している。

Can you explain the difference there and why you why you've landed on that word?

その違いと、なぜその言葉に行き着いたのかを説明していただけますか？

Traditionally the acronym AI stood for artificial intelligence but with every passing year AI becomes less artificial and more alien.

従来、AIは人工知能の略語だったが、年を追うごとにAIは人工的でなくなり、より異質なものになっている。

Alien not in the sense that it's coming from outer space, it's not.

宇宙から来たという意味でのエイリアンではない。

We create it.

私たちが創り出すのだ。

But alien in the sense it analyzes information, makes decisions, invents new things in a fundamentally different way than human beings.

しかし、情報を分析し、決断を下し、人間とは根本的に異なる方法で新しいものを発明するという意味では、エイリアンである。

And artificial is from artifact.

人工物は人工物だ。

It gives us the impression that this is an artifact that we control and this is misleading because yes we design the kind of baby AIs.

これは私たちがコントロールする人工物であるかのような印象を与えるが、これは誤解を招く。

We gave them the ability to learn and change by themselves and then we release them to the world and they do things that are not under our control, that are unpredictable.

私たちは彼らに自ら学び、変化する能力を与えたのに、私たちが彼らを世に放つと、彼らは私たちのコントロールの及ばない、予測不可能なことをする。

So in this sense they are alien, not in the sense that they came from Mars.

この意味で、彼らは火星から来たという意味ではなく、エイリアンなのだ。

When I said earlier that you know AIs can make decisions and AIs they are not just tools in our hands, they are agents creating new realities.

先ほど、AIは意思決定ができると言いましたが、AIは単なる道具ではなく、新しい現実を創造するエージェントなのです。

So you may think okay this is a prophecy for the future, a prediction about the future, but it's already in the past because even though social media algorithms they are very very primitive AIs, you know the first generation of AIs, they still reshaped the world with the decisions they made.

ソーシャルメディア・アルゴリズムは非常に原始的なAIであり、第一世代のAIである。

In social media, Facebook, Twitter, TikTok, all that, the ones that make the decision what you will see at the top of your news feed or the next video that you'll be recommended, it's not a human being sitting there making these decisions.

ソーシャル・メディア、Facebook、Twitter、TikTok、それらすべてにおいて、ニュースフィードのトップに表示されるものや、次におすすめされる動画を決定するのは、そこに座っている人間ではない。

It's an AI, it's an algorithm.

AIであり、アルゴリズムだ。

And these algorithms were given a relatively simple and seemingly benign goal by the corporations.

そしてこれらのアルゴリズムには、企業によって比較的単純で一見穏やかな目標が与えられていた。

The goal was increase user engagement, which means in simple English make people spend more time on the platform, because the more time people spend on TikTok or Facebook or Twitter or whatever, the company makes more money.

TikTokやFacebook、Twitterなどで人々がより多くの時間を過ごせば過ごすほど、会社はより多くのお金を稼ぐことができるからだ。

It sells more advertisements, it harvests more data that it can then sell to This is the goal of the algorithm.

より多くの広告を販売し、より多くのデータを収集し、それを販売する。 これがアルゴリズムの目的である。

Now engagement sounds like a good thing, who doesn't want to be engaged?

婚約は良いことのように聞こえる。

But the algorithms then experimented on billions of human guinea pigs and discovered something, which was of course discovered even earlier by humans, but now the algorithms discovered it.

しかし、アルゴリズムはその後、何十億匹もの人間のモルモットで実験し、あることを発見した。

The algorithms discovered that the easiest way to increase user engagement, the easiest way to grab people's attention and keep them glued to the screen, is by pressing the greed or hate or fear button in our minds.

アルゴリズムは、ユーザーのエンゲージメントを高める最も簡単な方法、人々の注目を集め、スクリーンに釘付けにする最も簡単な方法は、私たちの心の中にある欲や憎しみや恐怖のボタンを押すことであることを発見した。

You show us some hate-filled conspiracy theory and we become very angry, we want to see more, we tell about it to all our friends, user engagement goes up.

憎悪に満ちた陰謀論を見せられると、私たちは非常に怒り、もっと見たいと思い、友人全員にそのことを話し、ユーザーのエンゲージメントが高まる。

And this is what they did over the last 10 or 15 years.

そして、これが過去10年、15年の間に彼らがしてきたことだ。

They flooded the world with hate and greed and fear, which is why the conversation is breaking down.

彼らは憎しみと貪欲と恐怖で世界を溢れさせた。

These are kind of unintended consequences.

これらは意図せざる結果のようなものだ。

Like the people who manage the social media companies, they are not evil, they didn't set out to destroy democracy or to flood the world with hate and so forth.

ソーシャルメディア企業を管理する人たちのように、彼らは悪人ではないし、民主主義を破壊したり、憎悪で世界を溢れさせたりしようとしたわけでもない。

They just really didn't foresee that when they give the algorithm the goal of increasing user engagement, the algorithm will start to hate.

ユーザーのエンゲージメントを高めるという目標をアルゴリズムに与えたとき、アルゴリズムが憎悪を抱くようになることを、彼らは本当に予見していなかっただけなのだ。

But initially, when they started this whole ball rolling, they really didn't know.

しかし、当初、この一連の流れが始まったとき、彼らは本当に知らなかったんだ。

And this is just kind of a warning of look what happens with even very primitive AIs.

そしてこれは、非常に原始的なAIでさえどうなるかという警告のようなものだ。

And the AIs of today, which are far more sophisticated than in 2016, they too are still just the very early stages of the AI evolutionary process.

そして、2016年よりもはるかに洗練された今日のAIもまた、AI進化のプロセスのごく初期段階にすぎない。

We can think about it like the evolution of animals.

動物の進化のように考えることができる。

Until you get to humans, you have 4 billion years of evolution.

人類までは40億年の進化がある。

You start with microorganisms like amoebas, and it took billions of years of evolution to get to dinosaurs and mammals and humans.

アメーバのような微生物から始まり、恐竜や哺乳類、そして人間に至るまで、何十億年もの進化を遂げた。

Now, AIs are at present at the beginning of a parallel process that Chanty Petty and so forth, they are the amoebas of the AI world.

現在、AIはシャンティ・ペティなどと並列プロセスの初期段階にあり、彼らはAIの世界のアメーバだ。

But AI evolution is not organic.

しかし、AIの進化は有機的なものではない。

It's inorganic, it's digital, and it's billions of times faster.

無機的で、デジタルで、何十億倍も速い。

So while it took billions of years to get from amoebas to dinosaurs, it might take just 10 or 20 years to get from the AI amoebas of today to AI T-Rex.

つまり、アメーバから恐竜になるまでには何十億年もかかったが、今日のAIアメーバからAI T-レックスになるまでには、10年や20年しかかからないかもしれない。

Consumers, like all of us, we're being lured into a trust of something so powerful we can't comprehend and are ill-equipped to be able to kind of cast our gaze into the future and imagine where this is leading us.

消費者は、私たちすべてがそうであるように、理解できないほど強力な何かの信頼に誘われている。

Absolutely.

もちろんだ。

I mean, part of it is that there is enormous positive potential in AI.

つまり、AIには非常にポジティブな可能性があるということだ。

It's not like it's all doom and gloom.

悲観的なことばかりではない。

There is really enormous positive potential if you think about the implications for healthcare, that, you know, AI doctors available 24 hours a day that know our entire medical history and have read every medical paper that was ever published and can tailor their advice, their treatment to our specific life history and our blood pressure, our genetics.

私たちの全病歴を知り、これまでに発表されたすべての医学論文を読み、私たちの特定の生活歴や血圧、遺伝に合わせたアドバイスや治療ができるAI医師が24時間いつでも利用できるようになる。

It can be the biggest revolution in healthcare ever, if you think about self-driving vehicles.

自動運転車のことを考えれば、医療における史上最大の革命になるかもしれない。

So every year, more than a million people die all over the world in car accidents.

だから毎年、世界中で100万人以上が交通事故で亡くなっている。

Most of them are caused by human error, like people drinking and then driving or falling asleep at the wheel or whatever.

そのほとんどは、飲酒運転や居眠り運転など、人為的なミスによるものだ。

Self-driving vehicles are likely to save about a million lives every year.

自動運転車は毎年約100万人の命を救う可能性がある。

This is amazing.

これは驚きだ。

You think about climate change.

あなたは気候変動について考えている。

So yes, developing the AIs will consume a lot of energy, but they could also find new sources of energy, new ways to harness energy that could be our best shot at preventing ecological collapse.

つまり、AIを開発することは多くのエネルギーを消費することになるが、その一方で、新たなエネルギー源やエネルギーの利用方法を発見することもできるのだ。

So there is enormous positive potential.

だから、非常にポジティブな可能性がある。

We shouldn't deny that.

それを否定すべきではない。

We should be aware of it.

私たちはそれを認識すべきだ。

And on the other hand, it's very difficult to appreciate the dangers because the dangers, again, they're kind of alien.

その一方で、その危険性を理解するのは非常に難しい。

Like if you think about nuclear energy, yeah, it also had positive potential, cheap nuclear energy, but people had a very good grasp of the danger, nuclear war.

原子力エネルギーについて考えてみると、確かに安価な原子力エネルギーというプラスの可能性もあったが、人々は核戦争という危険性をよく理解していた。

Anybody can understand the danger of that.

その危険性は誰にでも理解できる。

With AI, it's much more complex because the danger is not straightforward.

AIの場合、危険は一筋縄ではいかないので、もっと複雑だ。

The danger is really, I mean, we've seen the Hollywood science fiction scenarios of the big robot rebellion, that one day a big computer or the AI decides to take over the world and kill us or enslave us.

つまり、ある日突然、大きなコンピューターやAIが世界を征服し、私たちを殺したり奴隷にしたりする。

And this is extremely unlikely to happen anytime soon because the AIs are still a kind of very narrow intelligence.

というのも、AIはまだ一種の非常に狭い知性だからだ。

Like the AI that can summarize a book, it doesn't know how to act in the physical world outside.

本の要約ができるAIのように、外の物理的な世界でどう行動していいかわからない。

You have AIs that can fold proteins.

タンパク質を折り畳むことができるAIがいる。

You have AIs that can play chess, but we don't have this kind of general AI that can just find its way It's hard to understand.

チェスをするAIはあっても、自分の道を見つける一般的なAIはない。

So what's so dangerous about something which is so kind of narrow in its abilities?

では、能力の幅が狭いもののどこが危険なのか？

And I would say that the danger doesn't come from the big robot rebellion.

そして私は、危険は大きなロボットの反乱から来るのではないと言いたい。

It comes from the AI bureaucracies.

それはAIの官僚機構から来るものだ。

Already today and more and more, we will have not one big AI trying to take over the world.

すでに今日、そして今後ますます、世界を征服しようとする大きなAIが1つではなくなっていくだろう。

We will have millions and billions of AIs constantly making decisions about us everywhere.

何百万、何十億というAIが、いたるところで常に私たちに関する決定を下すようになるだろう。

You apply to a bank to get a loan, it's an AI deciding whether to give you a loan.

銀行に融資を申し込むと、AIが融資するかどうかを判断する。

You apply to get a job, it's an AI deciding whether to give you a job.

あなたが仕事を得るために応募すると、AIがあなたに仕事を与えるかどうかを決定する。

You're in court or you're found guilty of some crime, the AI will decide whether you go for six months or three years or whatever.

法廷に出たり、何かの罪で有罪になったりすると、AIが6カ月か3年か、あるいは何であるかを決める。

Even in armies, we already see now in the war in Gaza and the war in Ukraine, AI make the decision about what to bomb.

ガザでの戦争やウクライナでの戦争を見ればわかるように、軍隊でさえ、何を爆撃するかはAIが決定する。

And in the Hollywood scenario, you have the killer robots shooting people.

ハリウッドのシナリオでは、殺人ロボットが人々を撃ち殺す。

In real life, it's the humans pulling the trigger, but the AI is choosing the targets.

現実の世界では、引き金を引くのは人間だが、ターゲットを選ぶのはAIだ。

I start thinking about like this, this bias I have around the originality of human thought and emotion and this kind of assumption that AI will never be able to fully mimic the human experience, right?

人間の思考や感情の独創性にまつわる私の偏見と、AIは人間の経験を完全に模倣することはできないだろうというこの種の仮定について、私はこう考え始めるんだ。

There's something indelible about what it means to be human that the machines will never be able to fully replicate.

人間であることの意味には、機械には決して完全には再現できない、消えない何かがある。

And when you talk about, you know, information, the purpose of information being to create connection, a big piece there is intimacy, like intimacy between human beings.

そして、情報というものについて語るとき、情報の目的はつながりを生み出すことであり、そこにある大きな要素は、人間同士の親密さである。

So information is meant to create connection, but now we have so much information and we're feeling very disconnected.

つまり、情報とはつながりを生み出すためのものだが、今は情報が多すぎて、私たちはとてもバラバラだと感じている。

So there's something broken in this system.

だから、このシステムはどこか壊れている。

And I think it's driving this loneliness epidemic, but on the other side, it's making us value like intimacy, maybe a little bit more than we were previously.

孤独が蔓延する一方で、親密さを重視するようになり、以前より少しは親密さが増したかもしれない。

And so I'm curious about where intimacy kind of fits into this, you know, post-human world in which culture is being dictated by machines.

だから私は、文化が機械に支配されるポスト・ヒューマンな世界の中で、親密さというものがどのような位置づけにあるのかに興味があるんだ。

I mean, human beings are wired for that kind of intimacy.

つまり、人間というのはそういう親密さを求めるようにできているんだ。

And I think our radar or our kind of ability to, you know, identify it when we see it is part of what makes us human to begin with.

そして、私たちのレーダーというか、見た瞬間にそれを識別する能力は、そもそも人間を人間たらしめている部分だと思う。

Maybe the most important part.

最も重要な部分かもしれない。

I think the key distinction here that is often lost is the distinction between intelligence and consciousness.

ここでしばしば見失われがちな重要な区別は、知性と意識の区別だと思う。

That intelligence is the ability to pursue goals and to overcome problems and obstacles on the way to the goal.

その知性とは、目標を追求し、目標に向かう過程で問題や障害を克服する能力である。

The goal could be a self-driving vehicle trying to get from here to San Francisco.

ゴールは、ここからサンフランシスコまでの自動運転車かもしれない。

The goal could be increasing user engagement.

目的はユーザーのエンゲージメントを高めることかもしれない。

And an intelligent agent knows how to overcome the problems on the way to the goal.

そして知的なエージェントは、ゴールに向かう途中の問題を克服する方法を知っている。

This is intelligence.

これがインテリジェンスだ。

And this is something that AI is definitely acquiring.

そしてこれは、AIが間違いなく獲得しようとしているものだ。

In at least certain fields, AI is now much more intelligent than us.

少なくとも特定の分野においては、AIは今や我々よりもはるかに知的である。

Like in playing chess, much more intelligent than human beings.

チェスをするように、人間よりはるかに賢い。

But consciousness is a different thing than intelligence.

しかし、意識と知性とは別のものだ。

Consciousness is the ability to feel things, pain, pleasure, love, hate.

意識とは、物事、痛み、喜び、愛、憎しみを感じる能力である。

When the AI wins a game of chess, it's not If there is a tense moment in the game, it's not clear who is going to win.

チェスでAIが勝つときは、そうではない。 ゲーム中に緊迫した瞬間があれば、どちらが勝つかはっきりしない。

The AI is not tense.

AIは緊張感がない。

It's only the human player which is tense or frightened or anxious.

ピリピリしたり、怯えたり、不安になったりするのは人間だけだ。

The AI doesn't feel anything.

AIは何も感じていない。

Now there is a big confusion because in humans and also in other mammals, in other animals, in dogs and pigs and horses and whatever, intelligence and consciousness go together.

というのも、人間や他の哺乳類、犬や豚や馬など他の動物では、知性と意識は一緒だからだ。

We solve problems based on our feelings.

私たちは感情に基づいて問題を解決する。

Our feelings are not something that kind of evolution, it's decoration.

私たちの感情は進化するものではなく、飾りなんだ。

It's the core system through which mammals make decisions and solve problems is based on our feelings.

哺乳類が決断を下し、問題を解決するための核となるシステムは、私たちの感情に基づいている。

So we tend to think that consciousness and intelligence must go together.

だから私たちは、意識と知性は一緒でなければならないと考えがちだ。

And in all these science fiction movies, you see that as the computer or robot becomes more intelligent, then at some point, it also gains consciousness.

SF映画では、コンピューターやロボットがより賢くなるにつれて、ある時点で意識を持つようになる。

It falls in love with the human or whatever.

人間か何かに恋をする。

And we have no reason to think like that.

そう考える理由はない。

Yeah.

そうだね。

Consciousness is not a mere extrapolation of intelligence.

意識は知性の単なる外挿ではない。

Absolutely not.

そんなことはない。

It's a qualitatively different thing.

質的に違うものだ。

Yeah.

そうだね。

And again, if you think in terms of evolution, so yes, the evolution of mammals took a certain path, a certain road in which you develop intelligence based on consciousness.

哺乳類の進化は、意識に基づいて知性を発達させるという一定の道筋をたどった。

But so far, what we see as computers, they took a different route.

しかし、これまでのところ、私たちがコンピューターとして見ているものは、彼らは別の道を歩んできた。

Their road develops intelligence without consciousness.

彼らの道は、意識なしに知性を発達させる。

I mean, computers have been developing, you know, for 60, 70 years now.

つまり、コンピューターは60年、70年前から発展してきたんだ。

They are not very intelligent, at least in some fields, and still zero consciousness.

少なくともいくつかの分野では、彼らはあまり知的ではない。

Now, this could continue indefinitely.

この状態がいつまでも続く可能性もある。

Maybe they are just on a different path.

もしかしたら、違う道を歩んでいるだけかもしれない。

Maybe eventually they will be far more intelligent than us in everything and still will have zero consciousness, will not feel pain or pleasure or love or hate.

もしかしたら最終的には、すべてにおいて我々よりはるかに知能が高くなり、それでも意識はゼロで、痛みや喜び、愛や憎しみを感じなくなるのかもしれない。

Now, what adds to the problem is that there is nevertheless a very strong commercial and political incentive to develop AIs that mimic feelings, to develop AIs that can create intimate relations with human beings, that can cause human beings to be emotionally attached to the AIs.

今、この問題に拍車をかけているのは、それにもかかわらず、感情を模倣するAIを開発しよう、人間と親密な関係を築けるAIを開発しよう、人間がAIに感情移入できるようなAIを開発しようという、非常に強い商業的・政治的インセンティブが存在することだ。

Even if the AIs have no feelings of themselves, they could be trained, they are already trained, to make us feel that they have feelings and to start developing relationships with them.

たとえAI自身に感情がなかったとしても、彼らは訓練され、すでに訓練されているのだから、私たちに感情があると感じさせ、彼らとの関係を発展させることができるだろう。

Why is there such an incentive?

なぜそのようなインセンティブがあるのか？

Because that the human can have.

人間にはそれがあるからだ。

That intimacy is not a liability.

その親密さは責任ではない。

It's not something bad that, oh, I need this.

これが必要なんだ、という悪いものではない。

No, it's the greatest thing in the world.

いや、世界一素晴らしいことだよ。

But it's also potentially the most powerful weapons, weapon in the world.

しかし、それは世界で最も強力な武器である可能性もある。

If you want to convince somebody to buy a product, if you want to convince somebody to vote for a certain politician or party, intimacy is like the ultimate weapon.

誰かに商品を買わせたい場合、誰かに特定の政治家や政党に投票させたい場合、親密さは究極の武器のようなものだ。

Now it is possible technically to mass produce intimacy.

今、親密さを大量生産することは技術的に可能だ。

You can create all these AIs that will interact with us and they will understand our feelings because even feelings are also patterns.

私たちと対話するすべてのAIを作ることができ、彼らは私たちの感情を理解する。

You can predict a person's feelings by watching them for weeks and months and learning their patterns and facial expression and tone of voice and so forth.

何週間も何カ月もその人を観察し、その人のパターンや表情、声のトーンなどを学ぶことで、その人の気持ちを予測することができる。

And then if it's in the wrong it could be used to manipulate us like never before.

そして、もしそれが間違っていれば、かつてないほど私たちを操るために使われるかもしれない。

Sure, it's our ultimate vulnerability.

確かに、それは私たちの究極の弱さだ。

This beautiful thing that makes us human becomes this great weakness that we have because as these AIs continue to self-iterate, their capacity to mimic consciousness and human intimacy will reach such a degree of fidelity that it will be indistinguishable to the human brain and then humans become like these unbelievably easy to hack machines who can be directed wherever the AI, you know, chooses to direct them.

人間を人間たらしめているこの美しいものが、人間の持つ大きな弱点になってしまうのだ。というのも、AIが自己学習を続けるにつれて、意識や人間の親密さを模倣する能力は、人間の脳と区別がつかないほどの忠実度に達し、そうなると、人間はAIが指示するところならどこにでも行ける、ハッキングが信じられないほど簡単な機械のようになってしまうからだ。

Yeah, it's not a prophecy.

ええ、予言ではありません。

We can take actions today to prevent this.

これを防ぐために、私たちは今日から行動を起こすことができる。

We can have regulations about it.

私たちはそれについて規制を設けることができる。

We can, for instance, have a regulation that AIs are welcome to interact with humans but on condition that they disclose that they are AIs.

例えば、AIが人間と交流することを歓迎するが、AIであることを公表することを条件とするという規制を設けることができる。

If you talk with an AI doctor, that's good, but the AI should not pretend to be a human being.