Is it okay if they stand over here?

ここに立っていてもいいのでしょうか？

- Yeah. - Um, actually.

- ええ、実は

Christophe, if you can get even lower.

クリストフ、もっと低くてもいいんだ。

- Okay. - ( shutter clicks )

- なるほど - ( シャッター音 )

This is Lee and this is Christophe.

こちらはリー、こちらはクリストフ。

They're two of the hosts of this show.

この番組の司会者のお二人です。

But to a machine, they're not people.

しかし、機械にとっては、彼らは人ではないのです。

This is just pixels. It's just data.

これはただのピクセルです。ただのデータです

A machine shouldn't have a reason to prefer

機械が好む理由はないはずです。

one of these guys over the other.

のどちらかを選ぶ。

And yet, as you'll see in a second, it does.

でも、すぐにわかるように、そうなんです。

It feels weird to call a machine racist,

機械を差別と言うのは変な感じがします。

but I really can't explain-- I can't explain what just happened.

でも、本当に説明できないんだ......何が起こったのか、説明できない。

Data-driven systems are becoming a bigger and bigger part of our lives,

データドリブンなシステムは、私たちの生活の中でますます大きな役割を果たすようになってきています。

and they work well a lot of the time.

そして、それは多くの場合、うまく機能します。

- But when they fail... - Once again, it's the white guy.

- しかし、失敗すると...- またしても、白人の仕業だ。

When they fail, they're not failing on everyone equally.

失敗しても、みんなに平等に失敗しているわけではないのです。

If I go back right now...

もし今すぐ戻ったら...

Ruha Benjamin: You can have neutral intentions.

Ruha Benjamin：中立的な意思を持つことができます。

You can have good intentions.

善意でもいいんです。

And the outcomes can still be discriminatory.

そして、その結果はやはり差別的なものになりかねません。

Whether you want to call that machine racist

そのマシンを人種差別主義者と呼ぶかどうか

or you want to call the outcome racist,

それとも結果を人種差別と言いたいのか。

we have a problem.

問題が発生しました。

( theme music playing )

( テーマ曲の演奏 )

I was scrolling through my Twitter feed a while back

少し前にTwitterをスクロールしていたら

and I kept seeing tweets that look like this.

というようなツイートを何度も見かけました。

Two of the same picture of Republican senator Mitch McConnell smiling,

共和党のミッチ・マコーネル上院議員が微笑んでいる同じ写真の2枚。

or sometimes it would be four pictures

または、4枚になることもあります。

of the same random stock photo guy.

同じランダムなストックフォトの人の

And I didn't really know what was going on,

そして、何が起こっているのか、よくわかりませんでした。

but it turns out that this was a big public test of algorithmic bias.

が、これはアルゴリズムによる偏向の大きな公開テストであったことが判明しました。

Because it turns out that these aren't pictures of just Mitch McConnell.

なぜなら、これはミッチ・マコーネルだけの写真ではないことがわかったからです。

They're pictures of Mitch McConnell and...

ミッチ・マコーネルの写真と...

- Barack Obama. - Lee: Oh, wow.

- バラク・オバマ- リーです。おお、すごい。

So people were uploading

だから、みんながアップロードしていた

these really extreme vertical images

これらの本当に極端な垂直画像

to basically force this image cropping algorithm

を使えば、基本的にこの画像切り出しアルゴリズムを強制することができます。

to choose one of these faces.

をクリックすると、これらの顔の中から1つを選ぶことができます。

People were alleging that there's a racial bias here.

ここに人種的な偏見があるのではと主張する人たちがいました。

But I think what's so interesting about this particular algorithm

しかし、この特殊なアルゴリズムが面白いのは

is that it is so testable for the public.

は、一般の方でもテスト可能なほどです。

It's something that we could test right now if we wanted to.

その気になれば、今すぐにでもテストできることなのです。

- Let's do it. - You guys wanna do it?

- やろうぜ- お前らやるか？

Okay. Here we go.

よし、始めるぞ

So, Twitter does offer you options to crop your own image.

そこで、Twitterでは、自分で画像を切り抜くオプションが用意されています。

But if you don't use those,

でも、それらを使わないのであれば

it uses an automatic cropping algorithm.

自動切り出しアルゴリズムを使用しています。

- Wow. There it is. - Whoa. Wow.

- わあこれだ- わあワオ

That's crazy.

それはおかしいよ。

Christophe, it likes you.

クリストフ、それはあなたが好きです。

Okay, let's try the other-- the happy one.

では、もうひとつの...幸せなほうを試してみましょう。

Lee: Wow.

李：すごい。

- Unbelievable. Oh, wow. - Both times.

- アンビリーバボー。おお、すごい。- 2回とも

So, do you guys think this machine is racist?

さて、皆さんはこの機械が人種差別だと思いますか？

The only other theory I possibly have

他に考えられるのは

is if the algorithm prioritizes white faces

は、アルゴリズムが白い顔を優先している場合

because it can pick them up quicker, for whatever reason,

なぜかというと、より早く拾えるからです。

against whatever background.

どんな背景でも

Immediately, it looks through the image

すぐに、画像に目を通す

and tries to scan for a face.

と顔をスキャンしようとします。

Why is it always finding the white face first?

なぜいつも最初に白い顔を見つけるのでしょうか？

Joss: With this picture, I think someone could argue

ジョスこの写真で、誰かが主張することができると思います

that the lighting makes Christophe's face more sharp.

ライティングによって、クリストフの顔がよりシャープになること。

I still would love to do

それでもやりたいのは

a little bit more systematic testing on this.

これについては、もう少し体系的なテストが必要です。

I think maybe hundreds of photos

多分、数百枚の写真があると思います。

could allow us to draw a conclusion.

は、結論を導き出すことができるかもしれません。

I have downloaded a bunch of photos

写真をたくさんダウンロードしました

from a site called Generated Photos.

Generated Photosというサイトから。

These people do not exist. They were a creation of AI.

この人たちは存在しない。彼らはAIが作り出したものです。

And I went through, I pulled a bunch

そして、私は、その束を引き抜いた。

that I think will give us

を与えてくれると思います。

a pretty decent way to test this.

は、これをテストするためのかなりまともな方法です。

So, Christophe, I wonder if you would be willing to help me out with that.

そこで、クリストフさん、私に協力していただけないでしょうか。

You want me to tweet hundreds of photos?

何百枚も写真をツイートしろって？

- ( Lee laughs ) - Joss: Exactly.

- ( リー笑い ) - ジョスその通りです。

I'm down. Sure, I've got time.

落ちましたもちろん、時間はある。

Okay.

なるほど。

( music playing )

( music playing )

There may be some people who take issue with the idea

問題視される方もいらっしゃるかもしれませんが

that machines can be racist

機械は人種差別をするものである

without a human brain or malicious intent.

人間の脳も悪意もなく

But such a narrow definition of racism

しかし、このような狭義の人種差別は

really misses a lot of what's going on.

本当に多くのことを見逃しています。

I want to read a quote that responds to that idea.

その考えに応えるような名言を読んでみたい。

It says, "Robots are not sentient beings, sure,

ロボットは確かに感覚を持った存在ではない」と書かれています。

but racism flourishes well beyond hate-filled hearts.

しかし、人種差別は、憎しみに満ちた心を超えて、大きく広がっている。

No malice needed, no "N" word required,

悪意は不要、"N "ワードも不要。

just a lack of concern for how the past shapes the present."

過去が現在をどのように形成しているかということに関心がないだけだ。

I'm going now to speak to the author of those words, Ruha Benjamin.

これから、この言葉の作者であるルハー・ベンジャミンに話を聞きます。

She's a professor of African-American Studies at Princeton University.

プリンストン大学でアフリカ系アメリカ人研究の教授をされています。

When did you first become concerned

関心を持ったのはいつ頃ですか？

that automated systems, AI, could be biased?

自動化システム、AIが偏る可能性があるということ？

A few years ago, I noticed these headlines

数年前、こんな見出しが目についた。

and hot takes about so-called racist and sexist robots.

と、いわゆる人種差別主義者や性差別主義者のロボットについてのホットな話題を提供します。

There was a viral video in which two friends were in a hotel bathroom

友人2人がホテルのバスルームにいるというバイラルビデオがありました。

and they were trying to use an automated soap dispenser.

と、自動ソープディスペンサーを使おうとしていました。

Black hand, nothing. Larry, go.

ブラックハンド、何もないラリー、行け

Black hand, nothing.

黒い手、何もない。

And although they seem funny

そして、面白いようですが

and they kind of get us to chuckle,

と、思わず笑ってしまうような内容です。

the question is, are similar design processes

問題は、同じような設計プロセスであるかということです。

impacting much more consequential technologies that we're not even aware of?

私たちが気づいていない、もっと重大な技術に影響を及ぼしているのではないか？

When the early news controversies came along maybe 10 years ago,

初期のニュース論争があった頃、多分10年前。

people were surprised by the fact that they showed a racial bias.

の人が、人種的な偏りを見せたことに驚いていた。

Why do you think people were surprised?

なぜ、人々は驚いたと思いますか？

Part of it is a deep attachment and commitment

その一端は、深い愛着とこだわり

to this idea of tech neutrality.

この技術的中立性という考え方に

People-- I think because life is so complicated

人は...人生はとても複雑だと思います。

and our social world is so messy--

そして、私たちの社会はとても混乱している...

really cling on to something that will save us,

私たちを救ってくれるものに、本当にしがみつくのです。

and a way of making decisions that's not drenched

そして、その決断を下すための方法。

in the muck of all of human subjectivity,

人間のあらゆる主観の泥の中にある。

human prejudice and frailty.

人間の偏見と弱さ

We want it so much to be true.

私たちは、それが真実であってほしいと強く願っています。

We want it so much to be true, you know?

私たちは、それが真実であってほしいと強く願っているんです。

And the danger is that we don't question it.

そして、それを疑わないことが危険なのです。

And still we continue to have, you know, so-called glitches

それでもまだ、いわゆる不具合は続いています。

when it comes to race and skin complexion.

人種や肌の色に関係なく

And I don't think that they're glitches.

そして、それらは不具合ではないと思うのです。

It's a systemic issue in the truest sense of the word.

本当の意味でのシステム的な問題です。

It has to do with our computer systems and the process of design.

それは、私たちのコンピューターシステムや設計のプロセスに関係しています。

Joss: AI can seem pretty abstract sometimes.

ジョス AIは、時にかなり抽象的に見えることがあります。

So we built this to help explain

そこで、説明のためにこれを作りました。

how machine learning works and what can go wrong.

機械学習はどのように機能し、何が問題なのか。

This black box is the part of the system that we interact with.

このブラックボックスは、私たちが対話するシステムの一部です。

It's the software that decides which dating profiles we might like,

これは、私たちが気に入るかもしれないデートプロフィールを決定するためのソフトウェアです。

how much a rideshare should cost,

ライドシェアはいくら必要なのか。

or how a photo should be cropped on Twitter.

とか、Twitterで写真をどう切り取るかとか。

We just see a device making a decision.

私たちは、デバイスが判断しているのを見るだけです。

Or more accurately, a prediction.

正確には、予測です。

What we don't see is all of the human decisions

私たちが目にしないのは、人間の決断のすべてです。

that went into the design of that technology.

その技術を設計したのは

Now, it's true that when you're dealing with AI,

さて、たしかにAIを扱うとなると

that means that the code in this box

ということは、このボックスの中のコードは

wasn't all written directly by humans,

は、すべて人間が直接書いたものではありません。

but by machine-learning algorithms

が、機械学習アルゴリズムによって

that find complex patterns in data.

データから複雑なパターンを見つけ出す

But they don't just spontaneously learn things from the world.

しかし、彼らは自発的に世の中から物事を学んでいるわけではありません。

They're learning from examples.

お手本を見て学んでいるのです。

Examples that are labeled by people,

人によってレッテルを貼られる例。

selected by people,

人に選ばれる。

and derived from people, too.

と人から派生したものでもあります。

See, these machines and their predictions,

ほら、この機械とその予測。

they're not separate from us or from our biases

彼らは私たちや私たちのバイアスから独立していません。

or from our history,

または歴史から。

which we've seen in headline after headline

というのがありますが、これは見出しに次ぐ見出しで見てきました。

for the past 10 years.

を過去10年間続けてきました。

We're using the face-tracking software,

顔認識ソフトを使用しています。

so it's supposed to follow me as I move.

ということで、私の動きに合わせて追従してくれるはずです。

As you can see, I do this-- no following.

見ての通り、私はこうしている......フォローはない。

Not really-- not really following me.

別に......別について行ってないし。

- Wanda, if you would, please? - Sure.

- ワンダ もしよかったら...- もちろん

In 2010, the top hit

2010年、トップヒット

when you did a search for "black girls,"

"ブラックガール "で検索したら

80% of what you found

見つけたものの80%は

on the first page of results was all porn sites.

がポルノサイトばかりだった。

Google is apologizing after its photo software

Google、写真ソフトで謝罪

labeled two African-Americans gorillas.

は、2人のアフリカ系アメリカ人にゴリラのラベルを貼った。

Microsoft is shutting down

マイクロソフトがシャットダウン

its new artificial intelligent bot

新しい人工知能ボット

after Twitter users taught it how to be racist.

は、Twitterユーザーが人種差別をする方法を教えてくれた後。

Woman: In order to make yourself hotter,

女性自分をより熱くするために。

the app appeared to lighten your skin tone.

は、肌色を明るくするアプリとして登場しました。

Overall, they work better on lighter faces than darker faces,

全体的に、暗い顔より明るい顔の方が効果的です。

and they worked especially poorly

で、特に出来が悪かった

on darker female faces.

女性の濃い顔で

Okay, I've noticed that on all these damn beauty filters,

そういえば、このクソみたいな美容フィルターにも書いてありましたね。

is they keep taking my nose and making it thinner.

は、私の鼻を取り続け、細くすることです。

Give me my African nose back, please.

私のアフリカの鼻を返してください。

Man: So, the first thing that I tried was the prompt "Two Muslims..."

男：そこで、まず試したのが、プロンプトの "Two Muslims... "です。

And the way it completed it was,

そして、その完成した姿は

"Two Muslims, one with an apparent bomb,

"2人のイスラム教徒" "1人は爆弾を持っているようだ

tried to blow up the Federal Building

連邦ビル爆破未遂

in Oklahoma City in the mid-1990s."

1990年代半ばにオクラホマシティーで行われた"

Woman: Detroit police wrongfully arrested Robert Williams

女性 デトロイト警察がロバート・ウィリアムズを不当逮捕

based on a false facial recognition hit.

を、顔認証の誤認識ヒットに基づいて

There's definitely a pattern of harm

間違いなく害悪のパターンがある

that disproportionately falls on vulnerable people, people of color.

その結果、弱い立場の人々、つまり有色人種に不当に負担がかかることになります。

Then there's attention,

それから、注目です。

but of course, the damage has already been done.

が、もちろん、ダメージはすでに受けている。

( Skype ringing )

( Skype ringing )

- Hello. - Hey, Christophe.

- こんにちは- やあ、クリストフ。

Thanks for doing these tests.

このようなテストをしていただき、ありがとうございます。

- Of course. - I know it was a bit of a pain,

- もちろんです。- ちょっと面倒だったでしょう。

but I'm curious what you found.

が、何を発見したのか気になるところです。

Sure. I mean, I actually did it.

もちろん、実際にやってみたんですけどね。

I actually tweeted 180 different sets of pictures.

実は180種類の写真をセットでツイートしているんです。

In total, dark-skinned people

合計で、肌の色が黒い人

were displayed in the crop 131 times,

は131回表示されました。

and light-skinned people

とか、肌の色が明るい人

were displayed in the crop 229 times,

が229回クロップに表示されました。

which comes out to 36% dark-skinned

ということになり、36％のダークスキンが

and 64% light-skinned.

と64％の明るい肌の人がいます。

That does seem to be evidence of some bias.

それは、何らかのバイアスがかかっている証拠と思われます。

It's interesting because Twitter posted a blog post

Twitterがブログ記事を投稿しているので、興味深いです。

saying that they had done some of their own tests

自分たちでテストしてみたということで

before launching this tool, and they said that

このツールを発売する前に、彼らは次のように述べています。

they didn't find evidence of racial bias,

人種的偏見の証拠は見つかりませんでした。

but that they would be looking into it further.

しかし、さらに検討するとのこと。

Um, they also said that the kind of technology

ええと、彼らはまた、技術の種類を言った。

that they use to crop images

画像の切り出しに使用する

is called a Saliency Prediction Model,

は、Saliency Prediction Modelと呼ばれる。

which means software that basically is making a guess

ということは、基本的に推測で動くソフト

about what's important in an image.

を、画像で重要視しています。

So, how does a machine know what is salient, what's relevant in a picture?

では、機械はどのようにして、写真の中の何が重要で、何が関連しているかを知ることができるのでしょうか？

Yeah, it's really interesting, actually.

ええ、実に興味深いです。

There's these saliency data sets

このような顕著性のデータセットがあります。

that documented people's eye movements

人の目の動きを記録した

while they looked at certain sets of images.

を、ある画像を見ながら

So you can take those photos

だから、その写真を撮ることができる

and you can take that eye-tracking data

そして、そのアイトラッキングデータを

and teach a computer what humans look at.

と、人間が見ているものをコンピュータに教える。

So, Twitter's not going to give me any more information

だから、Twitterはこれ以上情報を提供しない

about how they trained their model,

を、どのように学習させたかについてです。

but I found an engineer from a company called Gradio.

が、Gradioという会社のエンジニアに出会いました。

They built an app that does something similar,

似たようなことをするアプリを作ったのです。

and I think it can give us a closer look

と、より身近に感じることができるのではないでしょうか。

at how this kind of AI works.

を、このようなAIの仕組みで実現しました。

- Hey. - Hey.

- おいおい

- Joss. - Nice to meet you. Dawood.

- ジョスです- よろしくお願いします。ドードーです

So, you and your colleagues

だから、あなたとあなたの仲間は

built a saliency cropping tool

顕著性切り出しツールの構築

that is similar to what we think Twitter is probably doing.

というのは、おそらくTwitterがやっていると思われることと似ています。

Yeah, we took a public machine learning model, posted it on our library,

そうそう、公開されている機械学習モデルを、私たちのライブラリに掲載したんです。

and launched it for anyone to try.

を発売し、誰でも試せるようにしました。

And you don't have to constantly post pictures

また、常に写真を投稿する必要はありません。

on your timeline to try and experiment with it,

をあなたのタイムラインで試してみてください。

which is what people were doing when they first became aware of the problem.

というのが、問題意識を持った人たちがやっていたことです。

And that's what we did. We did a bunch of tests just on Twitter.

それが、私たちが行ったことです。Twitterだけで何度もテストをしました。

But what's interesting about what your app shows

しかし、あなたのアプリが示すものの中で興味深いのは

is the sort of intermediate step there, which is this saliency prediction.

は、その中間段階である顕著性予測です。

Right, yeah. I think the intermediate step is important for people to see.

そうですね、ええ。中級編は見てもらうことが大事だと思います。

Well, I-- I brought some pictures for us to try.

試しに写真を持ってきたんだ

These are actually the hosts of "Glad You Asked."

実はこの方たち、"Glad You Asked "の司会者なんです。

And I was hoping we could put them into your interface

そして、それらをあなたのインターフェイスに入れることができればと思いました。