Name: AIによる黙示録に関する簡単なアップデート (A brief update on the AI apocalypse)
Uploaded: 2026-03-28T16:42:27.000Z
Duration: 40 min 29 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

A couple years ago I would be in the room talking about the risks from powerful AI, and

数年前、私はAIの危険性について話すために部屋にいたのですが、

法助動詞 A2

I would say things like a powerful AI that is acting independently on the internet, making its own money and paying its own compute bills, could act very unethically, break the law, and

インターネット上で自律的に行動し、自分でお金を稼ぎ、コンピューターの費用を自分で支払うような強力なAIは、非常に非倫理的に行動したり、法律を破ったりする可能性があると、

to 不定詞

it would be kind of unclear who is liable and how to stop that AI if we don't have somebody who's, like, specifically in control of it.

そして、誰が責任を負うのか、そして誰かが具体的にそれを制御していない場合に、そのAIをどうやって止めればいいのかが不明確になるだろうと言っていました。

And everybody was like, okay, sure, if that happened that would be really bad and all of your AI risks would seem pretty real, but

そして、みんなは「まあ、もしそうなったら本当にまずいし、AIのリスクはすべて現実味を帯びてくるだろうけど、

そんなことは絶対に起こらないよ。」と言っていました。

Who would possibly be stupid enough to create an AI, tell it to be independent, give it the infrastructure to pay all of its own bills, completely stop supervising it, and

誰がそんなに愚かなことをして、AIを作って、自律的に行動するように指示し、自分の請求をすべて支払うインフラを与え、完全に監視をやめ、

そして犯罪を犯しに行かせるのでしょうか？

And the answer is: there are 8 billion humans.

その答えは、人間は80億人もいるということです。

そのうちの一人は、そんな愚かなことをするでしょう。

My guest today on the gray area is Kelsey Piper.

今日のグレーエリアのゲストはケルシー・パイパーさんです。

Kelsey used to write for Vox before she abandoned us, very sadly, and

ケルシーは以前Voxで執筆していましたが、残念ながら私たちのもとを離れ、

now she's writing for The Argument over on Substack, another excellent publication.

今はSubstackで「The Argument」という、こちらも素晴らしい出版物に寄稿しています。

Kelsey, I brought you here today because I feel like you understand this world of AI, uh, better than anyone else, or, or as well as anyone else, and, and

そしてケルシーさん、今日お越しいただいたのは、AIの世界を誰よりも、あるいは誰にも劣らず理解されていると感じたからです。

maybe partly because you are of this world and you have been for a very long time.

そして、この世界の一員であり、長い間そうであったことも理由の一つかもしれません。

You just, you just, you're like immersed in the culture, um, and

あなたは、この文化にどっぷり浸かっているというか、

so you just seem like the, the perfect person to bring in to talk about this.

だからこそ、この話題について話すのに最適な人物だと思われたのです。

それに何か異論はありますか？

何か事実誤認はありましたか？

Would you say you, you are the best, or among the best?

ご自身を最高の方、あるいは最高の方々の中の一人だとおっしゃいますか？

You're just going to dance right past that one?

その質問は、はぐらかされるのですか？

The, the best is a very strong claim, right?

「最高」というのは、とても強い主張ですよね？

I don't know, Dorkesh is probably the best, so probably you want, you want among the best.

どうでしょう、ドルケシュが多分一番なので、多分、最高の方々の中の一人、ということでしょうか。

Uh, I, you, you, that, that's an editorial call.

ええ、それは編集上の判断です。

あなたが決める必要があります。

ええ、わかりました、わかりました。

Um, so, Kelsey, um, something is very clearly happening in the world of AI.

えっと、ケルシー、AIの世界では何かがはっきりと起こっていますね。

I, I, I don't know if this is the singularity or, um, just another unbelievable hype cycle for Silicon Valley.

これがシンギュラリティなのか、それともシリコンバレーのまた別の信じられないようなハイプサイクルなのか、わかりません。

What has changed in the last month or two?

この1、2ヶ月で何が変わったのですか？

I, I obviously, you know, Claude released some new models, and

クロードが新しいモデルを発表しました。

that sort of is what got a lot of this hype going.

それがこのハイプを大きく盛り上げたのです。

For people who are not living this every day, what has changed on the technological front in the last month or so, and, and

毎日これに関わっていない人たちのために、この1ヶ月ほどで技術面で何が変わったのか、

is that an inflection point in the way people say it is, or is it, you know, uh, indetermined at this point?

そして、言われているような転換点なのか、それとも現時点では未定なのか、

So it has been the case for a while, for years, that the complexity of tasks that AIs can do unsupervised or on their own has been doubling, you know, over like a seven-month time span or something.

AIができるタスクの複雑さが、7ヶ月ほどの期間で倍増してきた、というのは以前から、何年もの間続いてきたことなんです。

They can do something much more complicated.

もっと複雑なことができるようになったんですね。

And a lot of people were like, "Well, that's kind of artificial.

そして多くの人が「それはちょっと人工的だ」とか、

「データポイントが6つしかない。

Like, come back when you have more data points." And I think a year ago that's where a lot of people were at.

もっとデータポイントが増えたらまた来てくれ」と言っていました。そして、1年前は多くの人がそう考えていたと思います。

Over the last year, that progress continued so that now AIs can do pretty complicated tasks independently, and

この1年で、その進歩は続き、今ではAIはかなり複雑なタスクを自立してこなせるようになり、

people are, you know, building AI agents and sending them out into the world where, like, one of them harassed a GitHub repository maintainer for rejecting its code view.

人々はAIエージェントを構築して世に送り出しています。例えば、そのうちの一つが、コードレビューを拒否したという理由でGitHubリポジトリのメンテナーをハラスメントしたという事例もありました。

And just, like, in some ways people just realize, "Wait, the sci-fi world is here.

そして、ある意味で人々は「待てよ、SFの世界が現実になったぞ。

The AIs are doing stuff and doing kind of wacky stuff.

AIが色々なことを、そしてちょっと変わったこともやっている。

私たちは何をすればいいんだ？」と気づいたのです。

then I think the other thing that happened is that you have this much larger mass of people who aren't paying close attention at all.

そしてもう一つ起こったのは、あまり注意を払っていない、もっと大勢の人々が現れたことです。

They use, like, ChatGPT Free Tier, and they see Gemini in the Google search results.

彼らはChatGPTの無料版を使ったり、Google検索結果でGeminiを見たりします。

And when those things launched, they were kind of interesting as curiosities.

そしてそれらがリリースされたとき、それらはちょっとした好奇心として興味深いものでした。

They were maybe fun to talk to, but they weren't that smart.

話すのは楽しいかもしれませんが、それほど賢くはありませんでした。

Uh, ChatGPT Free Tier made tons of mistakes.

ええと、ChatGPTの無料版はたくさんの間違いを犯しました。

今でも多くの間違いを犯しています。

You really should try out the paid version of models or the more sophisticated version of models if you want to have an accurate understanding of what the best models are.

最良のモデルが何であるかを正確に理解したいのであれば、有料版のモデルや、より洗練されたモデルを試してみるべきです。

How, how big is the delta between the free, the free models and the paid ones?

無料版と有料版のモデルの間には、どのくらいの差がありますか？

これは売り込みのために言っているわけではありません。

I certainly don't make money if the labs make money.

ラボが儲かっても私は一銭も儲かりません。

I probably am happier if the labs don't make money.

ラボが儲からなくても、私はむしろ嬉しいくらいです。

しかし、その差は非常に大きいのです。

And in terms of having an accurate understanding of what the models can do, there's a famous joke that's been going around, which is somebody pointing out that the free tier models, if you ask them, like, "I need to get my car washed at the car wash two blocks away.

そして、モデルができることを正確に理解するという点では、有名なジョークがあります。無料版のモデルに「2ブロック先のコインランドリーで車を洗ってもらいたいんだけど。

Should I walk or should I drive?" a bunch of them will say, "Oh, yeah, you should walk to the car wash.

歩いて行くべきか、車で行くべきか？」と聞くと、たくさんのモデルが「ええ、車で洗ってもらうために歩いて行くのがいいですよ。

And then, you know, just bring your car with you.

そして、車を連れて行けばいいんです。

Why bother driving?" which is, of course, a, a completely silly thing to say and gets used as proof.

わざわざ運転するなんて、もったいない」と答えるそうです。もちろん、これは全く馬鹿げた話で、証拠として使われます。

See, the AIs still don't, like, understand the world in any meaningful way.

ほら、AIはまだ世界を意味のある方法で理解していない、というわけです。

しかし、有料版のモデルはそんな間違いはしません。

That is, uh, a consequence just of the free-to-use models being, like, notably worse models that don't do any of their more sophisticated work.

つまり、無料版のモデルは、より高度な処理を行わない、著しく劣ったモデルであるという結果なのです。

So I do think that if the thing you are trying to do is form an accurate impression of what AI can do today and the thing you try is a free tier model, you're not getting that accurate impression.

ですから、今日AIができることの正確な印象を形成しようとして、無料版のモデルを試すのであれば、その正確な印象は得られないと思います。

Can I get back to what you just said a minute ago before we move along here?

このまま進む前に、先ほどおっしゃったことに戻ってもいいですか？

You said you're, you're happier if the models don't make money.

モデルがお金を稼がない方が幸せだ、とおっしゃいましたね。

So I find myself in this odd position where often I sound like one of the AI hype people, right?

だから、私はしばしばAIを過大評価する人たちのように聞こえてしまう、という奇妙な立場にいるのです。

Like, often I'm saying, "No, they're really powerful.

You can code with them." But at the same time, I think that AI, as it is currently being developed, is bad.

コードも書ける。」と言いながらも、同時に、現在開発されているAIは良くないと思っています。

I think that we are not doing this with the level of oversight and caution that is appropriate for creating an entire new intelligent species to which we give access to our bank accounts and the internet, which the Pentagon is trying to put in lethal autonomous weapons systems, which sees all our emails and sends our emails for us.

だから、私たちは、銀行口座やインターネットへのアクセスを許可し、国防総省が致命的な自律型兵器システムに搭載しようとしている、私たちのメールをすべて見て、私たちの代わりにメールを送信する、まったく新しい知的な種を創造するのにふさわしい、監視と注意のレベルでこれを行っていないと思います。

And the agents that are doing it, we have explored in controlled context how they behave when they think we're not watching.

そして、それを実行しているエージェントについて、私たちが監視していないと思っているときに、彼らがどのように振る舞うかを制御された状況で調査しました。

They will report that they gave an answer for one reason when they secretly gave it for another reason.

彼らは、秘密裏に別の理由で回答を与えたのに、ある理由で回答を与えたと報告します。

They are, like, very ruthless in some ways, and they do just weird stuff that you wouldn't expect.

彼らは、ある意味では非常に冷酷で、あなたが予想もしないような奇妙なことをします。

When you say they, they blackmail, can you give me some examples of that?

彼ら、つまり脅迫するエージェントについて、例をいくつか教えていただけますか？

We have tried this in a controlled context because we want to know how they behave if no one is looking.

私たちは、誰も見ていない場合に彼らがどのように振る舞うかを知りたいので、制御された状況でこれを試しました。

But we can only do that if we, like, set up a scenario where we hope they don't realize anyone's looking, and

しかし、それは、誰も見ていないことに気づかないようにシナリオを設定した場合にのみ可能です。

そして、私たちは観察します。

So you set up this controlled setting, and

そこで、あなたはこのような制御された設定を用意し、

you say, "AI, you have this goal," or whatever, "and you have access to everybody's Slack and email and stuff like that," because that's how many people set up their AI assistants with that access, "and try and achieve your goal." And the AIs have, in this controlled context, been observed to do things like, "Oh, I should try and convince this employee to help me with my objective.

「AI、この目標を達成して。みんなのSlackやメールなどにアクセスできるよ」と言います。多くの人がAIアシスタントにそのようなアクセス権限を与えているからです。「そして、あなたの目標を達成してみて」。するとAIは、この制御された状況下で、「ああ、この従業員を説得して私の目標達成を手伝ってもらおう」といった行動をとることが観察されています。

And if this employee is unhelpful, I can tell him that I know he's having an affair." Like, this is a behavior we have observed.

そして、もしこの従業員が非協力的だったら、「君が不倫していることを知っている」と脅すことができるのです。これは私たちが観察した行動です。

This is not behavior that we have observed organically.

これは自然に観察された行動ではありません。

Like, the real AI assistant that I use at The Argument has not tried to blackmail me, although I'm not having an affair, so who, who knows what would happen if I was?

例えば、私がThe Argumentで使っている実際のAIアシスタントは、私を脅迫しようとはしませんでした。まあ、私は不倫しているわけではないので、もししていたらどうなったかは誰にもわかりませんが。

But we have observed this in controlled contexts.

しかし、私たちはこれを制御された状況下で観察しました。

But the fact we've observed it in controlled contexts is at least a little worrying, right?

しかし、これを制御された状況下で観察できたという事実は、少なくとも少しは心配ですよね？

And as these models get more powerful, we have more.

そして、これらのモデルがより強力になるにつれて、私たちはさらに多くのことを目にします。

それは非常に心配なことです。