Name: AIは危険だが、あなたが考える理由ではない｜サーシャ・ルッチョーニ｜TED (AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED)
Uploaded: 2025-09-17T14:37:28.000Z
Duration: 10 min 19 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

I've been an AI researcher for over a decade, and a couple of months ago, I got the weirdest email of my career.

私は10年以上AIの研究者をしているが、数ヶ月前、私のキャリアの中で最も奇妙なメールを受け取った。

A random stranger wrote to me saying that my work in AI is going to end humanity.

見ず知らずの人が、私のAI研究は人類を滅亡させると書いてきた。

程度の副詞

Now, I get it, AI, it's so hot right now.

It's in the headlines pretty much every day, sometimes because of really cool things like discovering new molecules for medicine, or that dope Pope in the white puffer coat.

毎日のように新聞を賑わしているが、それは医学の新分子を発見したとか、白いパファーコートを着たドープなローマ法王を発見したとか、本当にクールなことのためだったりする。

But other times, the headlines have been really dark, like that chatbot telling that guy that he should divorce his wife, or that AI meal planner app proposing a crowd-pleasing recipe featuring chlorine gas.

しかし、チャットボットがあの男に妻と離婚すべきだと言ったり、AIミールプランナーアプリが塩素ガスを使った大勢が喜ぶレシピを提案したりと、暗い見出しになることもある。

And in the background, we've heard a lot of talk about doomsday scenarios, existential risk, and the singularity with letters being written and events being organized to make sure that doesn't happen.

そしてその背景には、終末シナリオ、実存的リスク、シンギュラリティ（技術的特異点）に関する多くの話があり、そうならないようにするために手紙が書かれたり、イベントが企画されたりしている。

Now, I'm a researcher who studies AI's impact on society.

今、私はAIが社会に与える影響を研究している研究者だ。

And I don't know what's going to happen in 10 or 20 years, and nobody really does.

それに、10年後、20年後に何が起こるかなんてわからないし、本当に誰もわからない。

But what I do know is that there's some pretty nasty things going on right now.

しかし、私が知っているのは、今、かなり厄介なことが起こっているということだ。

なぜなら、AIは真空の中では存在しないからだ。

It is part of society, and it has impacts on people and the planet.

それは社会の一部であり、人々と地球に影響を与える。

AI models can contribute to climate change.

AIモデルは気候変動に貢献する可能性がある。

Their training data uses art and books created by artists and authors without their consent.

彼らのトレーニングデータには、アーティストや著者が同意なしに作成したアートや書籍が使用されている。

And its deployment can discriminate against entire communities.

そして、その配備はコミュニティ全体を差別することになりかねない。

But we need to start tracking its impacts.

しかし、私たちはその影響を追跡し始める必要がある。

We need to start being transparent and disclosing them, and creating tools so that people understand AI better.

私たちは透明性を保ち、それらを開示し、人々がAIをよりよく理解できるようなツールを作り始める必要がある。

So that hopefully, future generations of AI model are going to be more trustworthy, sustainable, maybe less likely to kill us, if that's what you're into.

そうすれば、将来のAIモデルはより信頼でき、持続可能で、我々を殺す可能性も低くなるだろう。

では、持続可能性から始めよう。

Because that cloud that AI models live on is actually made out of metal, plastic, and powered by vast amounts of energy.

というのも、AIモデルが住んでいるクラウドは、実際には金属やプラスチックでできていて、膨大なエネルギーで動いているからだ。

And each time you query an AI model, it comes with a cost to the planet.

そして、AIモデルを照会するたびに、地球にはコストがかかる。

Last year, I was part of the Big Science Initiative, which brought together 1,000 researchers from all over the world to create Bloom, the first open large language model, like JATJBT, but with an emphasis on ethics, transparency, and consent.

昨年、私はビッグ・サイエンス・イニシアチブに参加し、世界中から1,000人の研究者を集め、JATJBTのような、倫理、透明性、同意を重視した初のオープンな大規模言語モデルであるBloomを作成した。

And the study I led that looked at Bloom's environmental impacts found that just training it used as much energy as 30 homes in a whole year, and emitted 25 tons of carbon dioxide, which is like driving your car five times around the planet, just so somebody can use this model to tell a knock-knock joke.

私が主導したブルームの環境への影響を調査した研究によると、トレーニングするだけで1年間に30軒分のエネルギーを消費し、25トンの二酸化炭素を排出するという。

And this might not seem like a lot, but other similar large language models, like GPT-3, emit 20 times more carbon.

しかし、GPT-3のような他の同様の大型言語モデルは、20倍の炭素を排出している。

But the thing is, tech companies aren't measuring this stuff.

しかし、技術系企業はこのようなことを測定していないということだ。

彼らはそれを公表していない。

And so this is probably only the tip of the iceberg, even if it is a melting one.

And in recent years, we've seen AI models balloon in size.

そして近年、AIのモデルはどんどん大きくなっている。

Because the current trend in AI is, bigger is better.

現在のAIのトレンドは、大きければ大きいほど良いというものだからだ。

But please don't get me started on why that's the case.

でも、なぜそうなのかについては勘弁してほしい。

In any case, we've seen large language models in particular grow 2,000 times in size over the last five years.

いずれにせよ、特に大規模な言語モデルは過去5年間で2,000倍にも膨れ上がっている。

And of course, their environmental costs are rising as well.

もちろん、環境コストも上昇している。

The most recent work I led found that switching out a smaller, more efficient model for a larger language model emits 14 times more carbon for the same task, like telling that knock-knock joke.

私が率いた最新の研究では、より小さく効率的なモデルをより大きな言語モデルに切り替えると、ノックノックジョークを伝えるような同じタスクに対して14倍の二酸化炭素を排出することがわかった。

And as we're putting in these models into cell phones and search engines and smart fridges and speakers, the environmental costs are really piling up quickly.

そして、携帯電話や検索エンジン、スマート冷蔵庫やスピーカーにこれらのモデルを搭載するにつれ、環境コストは急速に積み上がっている。

So instead of focusing on some future existential risks, let's talk about current tangible impacts and tools we can create to measure and mitigate these impacts.

だから、将来の存亡にかかわるリスクに焦点を当てるのではなく、現在の具体的な影響と、その影響を測定し緩和するために私たちが作成できるツールについて話そう。

I helped create CodeCarbon, a tool that runs in parallel to AI training code that estimates the amount of energy it consumes and the amount of carbon it emits.

CodeCarbonは、AIのトレーニングコードと並行して動作し、消費するエネルギー量と排出する炭素量を推定するツールです。

And using a tool like this can help us make informed choices, like choosing one model over the other because it's more sustainable, or deploying AI models on renewable energy, which can drastically reduce their emissions.

そして、このようなツールを使うことで、より持続可能だからという理由で、あるモデルを他のモデルより選択するとか、排出量を大幅に削減できる再生可能エネルギーでAIモデルを展開するといった、情報に基づいた選択をすることができる。

But let's talk about other things, because there's other impacts of AI apart from sustainability.

持続可能性とは別に、AIがもたらす影響は他にもあるからだ。

For example, it's been really hard for artists and authors to prove that their life's work has been used for training AI models without their consent.

例えば、アーティストや作家にとって、彼らのライフワークが同意なしにAIモデルのトレーニングに使用されたことを証明するのは本当に難しい。

And if you want to sue someone, you tend to need proof, right?

もし誰かを訴えたいのなら、証拠が必要だろう？

So Spawning AI, an organization that was founded by artists, created this really cool tool called Have I Been Trained?

そこで、アーティストによって設立されたSpawning AIという組織が、『Have I Been Trained?

And it lets you search these massive data sets to see what they have on you.

そして、これらの膨大なデータセットを検索して、彼らがあなたについて持っているものを見ることができる。

I searched Lion 5B, which is this huge data set of images and text, to see if any images of me were in there.

私は、画像とテキストからなる巨大なデータセットであるライオン5Bを検索し、そこに私の画像があるかどうかを確認した。

Now those two first images, that's me from events I've spoken at.

最初の2枚の画像は、私が講演したときのものだ。

But the rest of the images, none of those are me.

でも、それ以外の画像は、どれも私ではないんだ。

They're probably of other women named Sasha who put photographs of themselves up on the internet.

それはおそらく、インターネットに自分の写真をアップしているサーシャという名前の他の女性たちのものだろう。

And this can probably explain why when I query an image generation model to generate a photograph of a woman named Sasha, more often than not I get images of bikini models.

サーシャという女性の写真を生成するために画像生成モデルに問い合わせると、ビキニモデルの画像が送られてくることが多いのは、おそらくこのためだろう。

Sometimes they have two arms, sometimes they have three arms, but they rarely have any clothes on.

腕は2本のときもあれば3本のときもあるが、服を着ていることはほとんどない。

And why it can be interesting for people like you and me to search these data sets.

そして、なぜあなたや私のような人々がこれらのデータセットを検索することが興味深いのか。

For artists like Carla Ortiz, this provides crucial evidence that her life's work, her And she and two artists used this as evidence to file a class action lawsuit against AI companies for copyright infringement.

カーラ・オルティスのようなアーティストにとって、これは彼女のライフワークである彼女の作品を証明する重要な証拠となる。そして彼女と2人のアーティストは、これを証拠にAI企業を著作権侵害で集団提訴した。

And most recently Spawning AI partnered up with Hugging Face, the company where I work at, to create opt-in and opt-out mechanisms for creating these data sets.

そして最近、Spawning AIは、私が勤務するHugging Face社と提携し、これらのデータセットを作成するためのオプトインとオプトアウトの仕組みを構築した。

Because artwork created by humans shouldn't be an all-you-can-eat buffet for training AI language models.

というのも、人間が作成したアート作品は、AIの言語モデルをトレーニングするための食べ放題のビュッフェであってはならないからだ。

The very last thing I want to talk about is bias.

最後にお話ししたいのは、偏見についてです。

Formally speaking, it's when AI models encode patterns and beliefs that can represent stereotypes or racism and sexism.

形式的に言えば、AIモデルがステレオタイプや人種差別、性差別を表すパターンや信念をコード化することだ。

One of my heroes, Dr. Joy Bolognini, experienced this firsthand when she realized that AI systems wouldn't even detect her face unless she was wearing a white-colored mask.

私のヒーローの一人であるジョイ・ボロニニ博士は、白っぽいマスクをしていないとAIシステムが自分の顔を感知しないことに気づき、これを身をもって体験した。

Digging deeper, she found that common facial recognition systems were vastly worse for women of color compared to white men.

さらに掘り下げると、一般的な顔認識システムは、白人男性に比べて有色人種の女性にとって圧倒的に不利であることがわかった。

And when models like this, biased models like this, are deployed in law enforcement settings, this can result in false accusations, even wrongful imprisonment, which we've seen happen to multiple people in recent months.

そして、このようなモデル、偏ったモデルが法執行の場に導入されると、冤罪や不当な投獄につながる可能性がある。

For example, Portia Woodruff was wrongfully accused of carjacking at eight months pregnant because an AI system wrongfully identified her.

たとえば、ポーシャ・ウッドラフは妊娠8カ月でカージャックの嫌疑をかけられたが、これはAIシステムが誤って彼女を識別したためだ。

But sadly, these systems are black boxes, and even their creators can't say exactly why they work the way they do.

しかし、悲しいことに、これらのシステムはブラックボックスであり、なぜそのように機能するのか、製作者でさえ正確に語ることはできない。

And for example, for image generation systems, if you're used in contexts like generating a forensic sketch based on a description of a perpetrator, they take all those biases and they spit them back out for terms like dangerous criminal, terrorist or gang member, which of course is super dangerous when these tools are deployed in society.

例えば、画像生成システムの場合、犯人の人相に基づいて法医学的な似顔絵を生成するような文脈で使用されると、それらのバイアスがすべて取り込まれ、危険な犯罪者、テロリスト、ギャングのメンバーといった用語に吐き出される。

And so in order to understand these tools better, I created this tool called the Stable Bias Explorer, which lets you explore the bias of image generation models through the lens of professions.

そこで私は、これらのツールをよりよく理解するために、職業というレンズを通して画像生成モデルのバイアスを探ることができる、ステイブル・バイアス・エクスプローラーというツールを作った。

So try to picture a scientist in your mind.

だから、頭の中に科学者を思い浮かべてみてほしい。

同じようなことがたくさんあるだろう？

Men in glasses and lab coats, and none of them look like me.

メガネをかけ、白衣を着た男たち。

And the thing is, is that we looked at all these different image generation models and found a lot of the same thing.

そして重要なのは、私たちがこれらすべての異なるイメージ生成モデルを調べた結果、多くの同じことがわかったということだ。

Significant representation of whiteness and masculinity across all 150 professions that we looked at.

我々が調査した150の職業すべてにおいて、白人性と男性性が顕著に表れている。

Even if compared to the real world, the US Labor Bureau of Statistics, these models show lawyers as men and CEOs as men almost 100% of the time, even though we all know not all of them are white and male.

現実の世界である米国労働統計局と比較しても、これらのモデルは弁護士を男性、CEOをほぼ100％男性としている。

And sadly, my tool hasn't been used to write legislation yet.

そして悲しいことに、私のツールはまだ法案作成に使われていない。

But I recently presented it at a UN event about gender bias as an example of how we can make tools for people from all walks of life, even those who don't know how to code, to engage with and better understand AI, because we use professions, but you can use any terms that are of interest to you.

しかし私は最近、ジェンダーの偏見に関する国連のイベントで、コードの書き方を知らない人でも、あらゆる立場の人がAIと関わり、よりよく理解するためのツールを作ることができる例として、このツールを発表しました。

And as these models are being deployed, are being woven into the very fabric of our societies, our cell phones, our social media feeds, even our justice systems and our economies have AI in them.

そして、このようなモデルが展開され、私たちの社会の構造そのものに織り込まれ、私たちの携帯電話、ソーシャルメディアのフィード、司法制度や経済までもがAIを搭載している。

And it's really important that AI stays accessible so that we know both how it works and when it doesn't work.

そして、AIがどのように機能し、どのような場合に機能しないかを知るために、AIにアクセスし続けることが本当に重要だ。

And there's no single solution for really complex things like bias or copyright or climate change.

そして、偏見や著作権、気候変動といった本当に複雑なものに対する単一の解決策はない。

But by creating tools to measure AI's impact, we can start getting an idea of how bad they are and start addressing them as we go.

しかし、AIの影響を測定するツールを作ることで、それらがどれほど悪いものかを把握し、その都度対処を始めることができる。

Start creating guardrails to protect society and the planet.

社会と地球を守るためのガードレール作りを始めよう。

And once we have this information, companies can use it in order to say, OK, we're going to choose this model because it's more sustainable, this model because it respects copyright.

そして、いったんこの情報が得られれば、企業はそれを使って、より持続可能だからこのモデルを選択しよう、著作権を尊重しているからこのモデルを選択しよう、と言うことができる。

Legislators who really need information to write laws can use these tools to develop new regulation mechanisms or governance for AI as it gets deployed into society.

法律を制定するために本当に情報が必要な立法者は、AIが社会に導入される際に、これらのツールを使って新たな規制の仕組みやガバナンスを開発することができる。

And users like you and me can use this information to choose AI models that we can trust not to misrepresent us and not to misuse our data.

そして、あなたや私のようなユーザーは、この情報を使って、私たちを誤認させず、私たちのデータを悪用しない信頼できるAIモデルを選ぶことができる。

But what did I reply to that email that said that my work is going to destroy humanity?

でも、私の仕事が人類を破滅させるというそのメールに、私は何と返信したのだろう？

I said that focusing on AI's future existential risks is a distraction from its current very tangible impacts and the work we should be doing right now or even yesterday for reducing these impacts.

私は、AIの将来的な存亡の危機に焦点を当てることは、現在の非常に具体的な影響や、これらの影響を軽減するために私たちが今、あるいは昨日から行うべき作業から目をそらすことになると述べた。

Because, yes, AI is moving quickly, but it's not a done deal.

というのも、確かにAIは急速に進歩しているが、まだ完了したわけではない。

We're building the road as we walk it, and we can collectively decide what direction we want to go in together.

私たちは歩きながら道を作っているのであり、私たちが進みたい方向を一緒に決めることができる。

字幕リスト動画再生

AIは危険だが、あなたが考える理由ではない｜サーシャ・ルッチョーニ｜TED (AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED)

evidence

initiative

impact

sustainable