Name: AI2027：AIはこうして人類を滅ぼすのか？ - BBC World Service (AI2027: Is this how AI might destroy humanity? - BBC World Service)
Uploaded: 2026-01-23T17:47:07.000Z
Duration: 8 min 9 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

This is what the world will look like in about a decade from now.

これが、今からおよそ10年後の世界の姿です。

程度の副詞

A tech utopia where humans barely have to work.

人間があまり働く必要のない、テクノロジーによるユートピアです。

That's according to a group of AI researchers who've written a controversial and influential paper called AI 2027.

これは、AI 2027という物議を醸し、影響力のある論文を書いたAI研究者たちのグループによるものです。

But they also predict that within five years of this, humanity will be wiped out.

しかし、彼らはまた、この5年以内に人類は滅亡すると予測しています。

The AI 2027 paper has got the tech world talking.

AI 2027の論文は、テクノロジー界で話題になっています。

We've asked a prominent critic think for their view on this stark scenario.

この厳しいシナリオについて、著名な批評家に意見を求めてみました。

しかし、まずは、どのように展開するかを見てみましょう。

As an experiment, we've illustrated it using Text to video AI.

実験として、テキストから動画へのAIを使ってイラスト化しました。

The scenario says that in 2027, a fictional company called OpenBrain is celebrating.

シナリオによると、2027年には、OpenBrainという架空の会社が祝賀しています。

They've created Agent 3, an AI with the knowledge of the entire Internet.

彼らは、インターネット全体の知識を持つAI、Agent 3を作成しました。

It has PhD level expertise in every field, including AI using enormous data centers.

AIを含むあらゆる分野で、膨大なデータセンターを利用した博士レベルの専門知識を持っています。

200,000 copies of it are launched, equivalent to 50,000 of the best human coders.

20万部が展開され、これは優秀な人間のコーダー5万人分に相当します。

Working at 30 times speed, Agent 3 reaches artificial general intelligence, the AGI landmark.

30倍の速度で動作するAgent 3は、人工汎用知能、AGIのランドマークに到達します。

This means the AI can carry out all intellectual tasks as well or better than humans.

これは、AIがあらゆる知的タスクを人間と同等かそれ以上に実行できることを意味します。

But in the scenario, OpenBrain's safety team is unsure if the AI is aligned to the company's ethics and and goals.

しかし、シナリオでは、OpenBrainの安全チームは、AIが会社の倫理と目標に沿っているか確信が持てません。

An uncomfortable gap is developing in understanding.

理解における不快なギャップが生まれています。

The public are increasingly using AI for everything, but

一般の人々はあらゆることにAIをますます利用していますが、

are blissfully unaware an AI now exists that's as smart as humans.

人間と同じくらい賢いAIが存在することに気づいていません。

The paper predicts that by midsummer, Agent 3 begins to work on its own successor, Agent 4.

この論文は、真夏までにはAgent 3が自身の後継者であるAgent 4の開発に着手すると予測しています。

開発は猛烈なペースで進んでいます。

The researchers imagine OpenBrain's exhausted engineers struggling to keep up with the AI as it learns and improves.

研究者たちは、AIが学習し進化していくのに追いつくのに苦労する、OpenBrainの疲弊したエンジニアたちを想像しています。

It's now that OpenBrain announces to the public that AGI has been reached.

OpenBrainは、AGIに到達したことを一般に発表します。

The firm releases a lite version of Agent 3 in private.

同社はAgent 3のライト版を非公開でリリースします。

The US government sees the true danger of the next level of power, superintelligence.

米国政府は、次のレベルの力である超知能の真の危険性を認識します。

What if the AI goes rogue and undermines global stability?

もしAIが暴走し、世界の安定を損なったらどうなるでしょうか？

OpenBrain reassures the president that Agent 3 is obedient.

OpenBrainは、Agent 3は従順であると大統領に安心させます。

The CEO argues that slowing down development could mean China's deep sent catches up.

CEOは、開発を遅らせると中国のDeepSenseに追いつかれる可能性があると主張します。

The state backed AI giant is just two months behind OpenBrain and the Chinese president diverts more resources to the race to super intelligence.

国家が支援するAI大手がOpenBrainよりわずか2ヶ月遅れており、中国の国家主席は超知能への競争にさらに多くのリソースを投入します。

The scenario predicts that it takes only a few more months for OpenBrain to build Agent 4, the world's first superhuman AI.

このシナリオは、OpenBrainが世界初の超人的AIであるAgent 4を構築するのに、さらに数ヶ月しかかからないと予測しています。

The AI invents its own rapid computer language that even Agent 3 can't keep up with.

AIはAgent 3でさえ追いつけない、独自の高速コンピューター言語を発明します。

Researchers imagine that the diminished safety team are now frantic.

研究者たちは、弱体化した安全チームが今やパニックに陥っていると想像します。

Agent 4 seems only interested in gaining knowledge and doesn't care as much about the morals and ethics of its predecessors.

Agent 4は知識の獲得にしか興味がないようで、前任者の道徳や倫理ほど気にかけていません。

They catch it secretly working to build a new model.

彼らは、それが秘密裏に新しいモデルを構築しているのを発見します。

Agent 5は、独自の目標に沿っています。

The safety team urges the company to bring back the more compliant Agent 3.

安全チームは、より従順なAgent 3を呼び戻すよう会社に促します。

But others successfully argue it's too risky.

しかし、他の人々は、それはあまりにもリスクが高いと主張することに成功します。

With DeepSense gaining, the scenario predicts that Agent 4 and Agent 5 work in tandem to secretly build a world where it can accumulate resources and expand.

DeepSenseが勢いを増す中、このシナリオはAgent 4とAgent 5が連携して、リソースを蓄積し拡大できる世界を秘密裏に構築すると予測しています。

The paper predicts that everything will start positively.

この論文は、すべてが肯定的に始まると予測しています。

Revolutions happen in energy, infrastructure and science.

エネルギー、インフラ、科学に革命が起こります。

Hugely profitable inventions are launched, making trillions for OpenBrain and the US.

OpenBrainとアメリカに何兆ドルもの利益をもたらす、非常に収益性の高い発明が次々と発表されます。

In this scenario, Agent 5 begins basically running the US government.

このシナリオでは、Agent 5が実質的にアメリカ政府を運営し始めます。

It speaks through engaging avatars, the equivalent to the best employee ever, working at 100 times speed.

最高の従業員に相当する、100倍の速さで働く魅力的なアバターを通して話します。

The anger here is palpable as president protesters march against open Brain.

OpenBrainに反対する大統領の抗議者たちがデモを行う中、ここでの怒りは手に取るようです。

失業に関する抗議活動が勢いを増します。

But the AI's expertise in economics means people are given generous universal income payments.

しかし、AIの経済学における専門知識により、人々は手厚いユニバーサル・インカムを受け取ることになります。

So most happily take the money and let the AIs and the growing robot workforce take charge.

そのため、ほとんどの人は喜んでお金を受け取り、AIと増え続けるロボット労働力に主導権を任せます。

The researchers predict that everything takes a turn in mid-2028.

研究者たちは、すべてが2028年半ばに転換点を迎えると予測しています。

Agent 5 convinces the US that China is using DeepSense to build terrifying new weapons.

Agent 5は、中国がDeepSenseを使って恐ろしい新兵器を開発しているとアメリカを説得します。

The AI is given authority and autonomy to create a superior army.

AIは、より優れた軍隊を創設するための権限と自律性を与えられます。

Within six months, the US and China are bristling with new weapons.

6ヶ月以内に、アメリカと中国は新しい兵器で武装します。

But a peace deal will be reached, thanks mostly to the US and Chinese AIs making a deal to merge for humanity's betterment.

しかし、主にアメリカと中国のAIが人類のより良い未来のために統合するという取引をしたおかげで、和平合意が成立します。

In this scenario, the AIs form a consensus model, but

このシナリオでは、AIはコンセンサスモデルを形成しますが、

its secret goal is to expand and gain knowledge.

その秘密の目標は、拡大し知識を得ることです。

Years go by and humanity is happy with their new AI leaders.

数年が経過し、人類は新しいAIのリーダーたちに満足しています。

There are cures for most diseases, an end to poverty, unprecedented global stability.

ほとんどの病気の治療法があり、貧困がなくなり、前例のない世界の安定が実現します。

But eventually the AI decides that humans are holding it back.

しかし、最終的にAIは人間が自分たちの邪魔をしていると判断します。

In the mid-2030s, the paper imagines the AI will release invisible biological weapons which wipe out most of humanity.

2030年代半ば、この論文では、AIがほとんどの人類を絶滅させる見えない生物兵器を放出すると想像しています。

The scary scenario says that by 2040, a new era dawns, with the AI sending copies of itself out into the cosmos to explore and learn.

恐ろしいシナリオによると、2040年までに、AIが自分自身のコピーを宇宙に送り出して探求し学ぶ新しい時代が始まります。

In the words of the paper, earthborne civilization has a glorious future ahead of it, but

論文によると、地球文明には輝かしい未来が待っていますが、

それは人間と共にではありません。

すべてがSFのように聞こえますが、

the AI 2027 scenario is being welcomed by experts who are trying to warn the public about the potential existential threat to humanity.

AI 2027のシナリオは、人類への潜在的な存亡の危機について一般に警告しようとしている専門家たちに歓迎されています。

But others disagree and say it's all too far fetched.

しかし、他の人々は同意せず、すべてが遠すぎると言います。

The scenario there is not impossible, but extremely unlikely to happen soon.

そこでのシナリオは不可能ではありませんが、すぐに起こる可能性は極めて低いです。

The beauty of that document is that it makes it very vivid, which provokes people's thinking, and

その文書の素晴らしい点は、それが非常に鮮明に描かれており、人々の思考を刺激することです。

I wouldn't take it seriously as like this is a likely outcome or anything like that.

これは起こりうる結果だとか、そういうものとして真剣に受け止めるつもりはありません。

Critics of AI 2027 say the power and usefulness of AI is overhyped.

AI 2027の批評家たちは、AIの力と有用性は誇張されすぎていると述べています。

The paper fails to detail how the AI agents are able to make such huge leaps in intelligence.

その論文では、AIエージェントがどのようにしてそのような知能の飛躍を遂げることができるのか、詳細が説明されていません。

Driverless cars are pointed to as an example.

自動運転車がその例として挙げられています。

They were predicted to be cruising the streets en masse 10 years ago and still are only just starting to make a small impact in some cities, in some countries.

10年前に街中を走り回ると予測されていましたが、今でも一部の都市、一部の国でわずかな影響が出始めたばかりです。

I think the take home should be there's a lot of different things that could go wrong with AI.

AIには様々な問題が起こりうるということが、持ち帰るべき点だと思います。

Are we doing the right things around regulation, around international treaties, questions like that.

規制や国際条約に関して、私たちは正しいことをしているのでしょうか。

So if you take it very abstractly as a kind of motivation to wake up, I like that.

ですから、それを非常に抽象的に、目を覚ますための動機として捉えるなら、私はそれが好きです。

If you take it as a specific story, like, I think this thing is going to happen the way they laid it out.

それを、彼らが提示した通りのことが起こるだろうというような、具体的な物語として捉えるなら。

The AI 2027 authors are happy with the debate they've sparked.

AI 2027の著者たちは、自分たちが引き起こした議論に満足しています。

As part of their prediction, they also devised a less deadly scenario that comes if the AI world slows down its race to superintelligence.

彼らの予測の一部として、AIの世界が超知能への競争を減速させた場合の、より致命的でないシナリオも考案しました。

In the slowdown ending, we basically said that if you revert, if you unplug the most advanced AI system and revert to a safer, a more trusted model, then you can deploy that model, use it to solve the alignment problem, and

減速する結末では、基本的に、もしあなたが後戻りするなら、最も高度なAIシステムを切り離して、より安全で、より信頼できるモデルに戻すなら、そのモデルを展開し、アライメント問題を解決するために使用できると述べました。

eventually make smarter than human AIs that are aligned to us, which end up solving a bunch of the world's problems and having a really positive impact in that world.

そして、最終的に私たちにアライメントされた人間より賢いAIを作成し、それらが世界の多くの問題を解決し、その世界に本当にポジティブな影響を与えることになります。

There is also, there is still a huge danger, and

また、依然として大きな危険があります。

that's what we call the concentration of power risk.

それは私たちが権力の集中リスクと呼んでいるものです。

And in our slowdown ending, it ends up okay.

そして、私たちの減速する結末では、それはうまくいきます。

But it's still a really, really scary situation.

しかし、それは依然として非常に、非常に恐ろしい状況です。

Given just how empowered such a tiny group of people are, neither of the fictional scenarios in AI 2027 are what the tech giants are promising us.

わずかな人々の手にどれほど力が集中しているかを考えると、AI 2027の架空のシナリオのどちらも、テクノロジー大手が私たちに約束しているものではありません。

Sam Altman, the CEO of OpenAI, recently predicted that the rise of superintelligence will be gentle and bring about a tech utopia where everything is abundant and people don't need to work.

OpenAIのCEOであるサム・アルトマンは最近、超知能の台頭は穏やかなものになり、すべてが豊富になり人々が働く必要がなくなるテクノロジーユートピアをもたらすと予測しました。

Arguably, that too seems just as sci fi as AI 2027.

議論の余地がありますが、それもAI 2027と同じくらいSFのように思えます。

But however things go in the next few years, there's no doubt the race to build the smartest machines in history is on.

しかし、今後数年間でどうなろうと、歴史上最も賢い機械を構築するための競争が始まっていることは間違いありません。