on a mission to stop an unseen force that's rising,

こんにちは コードの詩人 ジョイです

a force that I called "the coded gaze,"

私の使命は 強まりつつある 目に見えない力

my term for algorithmic bias.

「コード化された視線」 と私が呼ぶ―

Algorithmic bias, like human bias, results in unfairness.

アルゴリズムにおける偏見を 阻止することです

However, algorithms, like viruses, can spread bias on a massive scale

アルゴリズムも 人と同じで 偏見が入り込むと不公正な結果を生みます

at a rapid pace.

しかも アルゴリズムはウイルスのように 偏見をどんどん拡散してしまいます

Algorithmic bias can also lead to exclusionary experiences

それも急速にです

and discriminatory practices.

アルゴリズムの偏見は 排他的な扱いや

Let me show you what I mean.

差別行為を生む恐れもあります

(Video) Joy Buolamwini: Hi, camera. I've got a face.

具体的にお見せしましょう

Can you see my face?

（ビデオ）ねえ カメラくん 私には顔があるわ

No-glasses face?

私の顔が見える？

You can see her face.

メガネを外した方がいいかな？

What about my face?

この人の顔は見えるわね

I've got a mask. Can you see my mask?

私の顔はどう？

Joy Buolamwini: So how did this happen?

お面をつけるわ このお面は見える？

Why am I sitting in front of a computer

（ジョイ）何が起きたのでしょう？

in a white mask,

私が白い仮面をつけて

trying to be detected by a cheap webcam?

コンピュータの前に座り

Well, when I'm not fighting the coded gaze

安いウェブカメラで検知されるか 試している理由は？

as a poet of code,

コードの詩人として コード化された視線と

I'm a graduate student at the MIT Media Lab,

戦うとき以外の私は

and there I have the opportunity to work on all sorts of whimsical projects,

MITメディアラボの大学院生で

including the Aspire Mirror,

ちょっと変わったプロジェクトに いろいろ関わっています

a project I did so I could project digital masks onto my reflection.

その１つの 「Aspire Mirror（鼓舞する鏡）」は

So in the morning, if I wanted to feel powerful,

鏡に映った自分の顔に デジタルの仮面を重ねるものです

I could put on a lion.

朝起きてパワフルな気分に なりたければ

If I wanted to be uplifted, I might have a quote.

ライオンの面をつけたり

So I used generic facial recognition software

気分を高めるために 何かを「引用」したりできます

to build the system,

このとき 私は 一般的な顔認識ソフトを使い

but found it was really hard to test it unless I wore a white mask.

システムを組もうとしたのですが

Unfortunately, I've run into this issue before.

白い仮面をつけないと テストすら難しいと気づきました

When I was an undergraduate at Georgia Tech studying computer science,

実は この問題に悩まされたのは 初めてではありませんでした

I used to work on social robots,

ジョージア工科大学で コンピュータ科学を学んでいたとき

and one of my tasks was to get a robot to play peek-a-boo,

ソーシャルロボットを研究していて

a simple turn-taking game

ロボット相手に 代わりばんこに

where partners cover their face and then uncover it saying, "Peek-a-boo!"

「いないいないばあ」をするという 課題がありました

The problem is, peek-a-boo doesn't really work if I can't see you,

顔を覆った手を 「ばあ！」のところで どけて顔を見せる遊びですね

and my robot couldn't see me.

相手の顔が見えないと 成立しないゲームですが

But I borrowed my roommate's face to get the project done,

ロボットは私の顔を 認識できませんでした

submitted the assignment,

私はルームメイトの顔を借りて どうにか作業を終え

and figured, you know what, somebody else will solve this problem.

課題を提出しました

Not too long after,

そのときは このバグも誰かが 直してくれると思っていました

I was in Hong Kong for an entrepreneurship competition.

それから少しして 私は

The organizers decided to take participants

起業コンテストに参加するため 香港に行きました

on a tour of local start-ups.

参加者たちは いくつかの地元の新興企業に

One of the start-ups had a social robot,

案内されました

and they decided to do a demo.

ある会社の製品は ソーシャルロボットで

The demo worked on everybody until it got to me,

デモを見せてもらうことに なりました

and you can probably guess it.

デモは成功し 私の番がやって来ます

It couldn't detect my face.

結果はご想像のとおり

I asked the developers what was going on,

私の顔は検知されません

and it turned out we had used the same generic facial recognition software.

「どうなってるの？」 と開発者たちに尋ねたら

Halfway around the world,

私と同じ顔認識ソフトを 使っていることが判明しました

I learned that algorithmic bias can travel as quickly

世界を半周して分かったのは

as it takes to download some files off of the internet.

アルゴリズムの偏見が 広がるのはすごく早いことです

So what's going on? Why isn't my face being detected?

ネットからダウンロードする 時間しかかかりません

Well, we have to look at how we give machines sight.

どうなっているのか？ なぜ私の顔は検知されないのか？

Computer vision uses machine learning techniques

機械に視覚を持たせる仕組みを 考えてみましょう

to do facial recognition.

コンピュータビジョンでは 機械学習の技術を使って

So how this works is, you create a training set with examples of faces.

顔を認識します

This is a face. This is a face. This is not a face.

顔のサンプルを集めて トレーニングするのです

And over time, you can teach a computer how to recognize other faces.

これは顔 これは顔 これは顔じゃない

However, if the training sets aren't really that diverse,

やがてコンピュータは 顔を認識する方法を習得します

any face that deviates too much from the established norm

でもトレーニング用のサンプルに あまり多様性がなかったら

will be harder to detect,

そこで確立された基準から 大きく外れた顔は

which is what was happening to me.

検知するのが難しくなります

But don't worry -- there's some good news.

私の場合はそれでした

Training sets don't just materialize out of nowhere.

でも大丈夫 希望の持てる面もあります

We actually can create them.

顔のサンプル集は ひとりでに できるわけではありません

So there's an opportunity to create full-spectrum training sets

私たちにだって作れます

that reflect a richer portrait of humanity.

ですから 網羅的な トレーニング用のサンプルを作り

Now you've seen in my examples

さまざまな人間の姿形を しっかり反映させれば いいんです

how social robots

私の例でお見せしたように

was how I found out about exclusion with algorithmic bias.

ソーシャルロボットの振る舞いから

But algorithmic bias can also lead to discriminatory practices.

アルゴリズムの偏見による 切り捨てが見つかりました

Across the US,

この偏見は 差別行為にも つながりうるものです

police departments are starting to use facial recognition software

米国では全国的に

in their crime-fighting arsenal.

警察が顔認識ソフトを使って

Georgetown Law published a report

犯罪に対処し始めています

showing that one in two adults in the US -- that's 117 million people --

ジョージタウン大学 ロースクールの報告によると

have their faces in facial recognition networks.

米国の成人２人に１人 １億1700万人の顔が

Police departments can currently look at these networks unregulated,

何らかの顔認識用のデータベースに 記録されています

using algorithms that have not been audited for accuracy.

警察は現在 制限なしに これらのシステムを参照できますが

Yet we know facial recognition is not fail proof,

使っているアルゴリズムの 正確さは検証されていません

and labeling faces consistently remains a challenge.

でも 顔認識は完璧でなく

You might have seen this on Facebook.

顔と名前を一致させるのは なおも難しい課題です

My friends and I laugh all the time when we see other people

Facebookで こんな経験をしたことは？

mislabeled in our photos.

写真の中の人が正しく認識されず おかしなタグが付いていて

But misidentifying a suspected criminal is no laughing matter,

私は いつも友達と大笑いしています

nor is breaching civil liberties.

でも 犯罪者と間違われたら 笑い事では済みません

Machine learning is being used for facial recognition,

市民の自由が侵された どころでもありません

but it's also extending beyond the realm of computer vision.

機械学習は顔認識に 利用されるとともに

In her book, "Weapons of Math Destruction,"

コンピュータビジョンの 利用範囲を拡大しています

data scientist Cathy O'Neil talks about the rising new WMDs --

データ・サイエンティストの キャシー・オニールは

widespread, mysterious and destructive algorithms

『Weapons of Math Destruction （数学破壊兵器）』の中で

that are increasingly being used to make decisions

不可解で破壊的なアルゴリズムが 「数学破壊兵器」として台頭し

that impact more aspects of our lives.

ますます広く意思決定に 使われるようになり

So who gets hired or fired?

私たちの暮らしの多くの場面に 影響を与えていると述べています

Do you get that loan? Do you get insurance?

仕事の採用・不採用を分けるものは？

Are you admitted into the college you wanted to get into?

ローンが組めるかどうか 保険に入れるかどうか

Do you and I pay the same price for the same product

志望大学に入学できるかどうか

purchased on the same platform?

同じところで同じ製品を 購入するのなら

Law enforcement is also starting to use machine learning

誰でも値段は同じかどうか といったことにもです

for predictive policing.

警察は機械学習を 予測警備にも

Some judges use machine-generated risk scores to determine

使い始めています

how long an individual is going to spend in prison.

裁判官の中には 機械が出したリスク評価をもとに

So we really have to think about these decisions.

何年の懲役にすべきか 決める人もいます

Are they fair?

だから こうした判断について よく考えなければなりません

And we've seen that algorithmic bias

判断は公平なのでしょうか？

doesn't necessarily always lead to fair outcomes.

すでに見た通り アルゴリズムの偏見により

So what can we do about it?

出てくる結果は必ずしも 公平ではありません

Well, we can start thinking about how we create more inclusive code

私たちに何ができるでしょう

and employ inclusive coding practices.

どうすれば より包括的なコードを作り

It really starts with people.

それを実践していけるのか 考えることから始めましょう

So who codes matters.

まずは人からです

Are we creating full-spectrum teams with diverse individuals

つまり コードを書く人が大事です

who can check each other's blind spots?

多様なメンバーで チームを構成し

On the technical side, how we code matters.

互いの盲点を チェックできているか？

Are we factoring in fairness as we're developing systems?

技術的な面では コードをどう作るかが重要です

And finally, why we code matters.

システム開発の要素に 公正さを組み込んでいるか？

We've used tools of computational creation to unlock immense wealth.

最後に 何のために コードを書くかも重要です

We now have the opportunity to unlock even greater equality

私たちはコンピュータを使って 莫大な富を生み出してきましたが

if we make social change a priority

今 より一層の平等も 生み出すことができるのです

and not an afterthought.

社会の変革を 後付けでなく

And so these are the three tenets that will make up the "incoding" movement.

優先事項とすれば良いのです

Who codes matters,

このように「インコーディング」運動には ３つの柱があるわけです

how we code matters

誰がコードを書くかが重要

and why we code matters.

どのようにコードを書くかが重要

So to go towards incoding, we can start thinking about

なぜコードを書くかが重要 なのです

building platforms that can identify bias

インコーディングに向けて まず手を付けるべきは

by collecting people's experiences like the ones I shared,

偏りを発見できる プラットフォームを作ること

but also auditing existing software.

私が紹介したような 経験を集積して

We can also start to create more inclusive training sets.

今あるソフトウェアの 点検もします

Imagine a "Selfies for Inclusion" campaign

トレーニング用サンプルにも もっと多様性を盛り込みましょう

where you and I can help developers test and create

「インクルージョンに向けた自撮り」 キャンペーンを展開して

more inclusive training sets.

多様性のあるサンプルを 開発者が作成しテストするのを

And we can also start thinking more conscientiously

支援することもできます

about the social impact of the technology that we're developing.

さらには 開発中の技術が 社会に与える影響について

To get the incoding movement started,

もっと注意深く 考えるようにしましょう

I've launched the Algorithmic Justice League,

インコーディング運動を 始めるために

where anyone who cares about fairness can help fight the coded gaze.

私は「Algorithmic Justice League」 を設立しました

On codedgaze.com, you can report bias,

公正さに関心がある人なら誰でも コード化された視線との戦いに参加できます

request audits, become a tester

偏ったコードの通報や監査依頼

and join the ongoing conversation,

試験者の参加申し込みは codedgaze.comへ

#codedgaze.

話題の共有には

So I invite you to join me

#codedgazeを使ってください

in creating a world where technology works for all of us,

ぜひ皆さんに 参加してほしいんです

not just some of us,

テクノロジーが 一部の人でなく みんなの役に立つ―

a world where we value inclusion and center social change.

世界を創りましょう

Thank you.

インクルージョンを大事にし 自ら社会を変える そんな世界にしましょう

(Applause)

ありがとうございました

But I have one question:

（拍手）

Will you join me in the fight?

でも ほんとに大丈夫？

(Laughter)

本気で参加してくれますね？

(Applause)

（笑）