They sort and separate the winners from the losers.

アルゴリズムは どこにでもあります

The winners get the job

アルゴリズムが勝者と敗者を分けます

or a good credit card offer.

勝者は仕事を手に入れ

The losers don't even get an interview

有利なクレジットカードを 申し込めます

or they pay more for insurance.

一方 敗者は就職面接すら受けられず

We're being scored with secret formulas that we don't understand

保険料は より高くなります

that often don't have systems of appeal.

私たちは 理解できない上に 不服申し立ての機会もない—

That begs the question:

秘密の数式によって 格付けされているのです

What if the algorithms are wrong?

そこで疑問が湧いてきます

To build an algorithm you need two things:

もしアルゴリズムが間違っていたら？

you need data, what happened in the past,

アルゴリズムを作る時 必要なものが２つあります

and a definition of success,

データ つまり過去の出来事の記録と

the thing you're looking for and often hoping for.

人が追い求める「成功」を 定義する基準です

You train an algorithm by looking, figuring out.

人が追い求める「成功」を 定義する基準です

The algorithm figures out what is associated with success.

そして観察と理解を通して アルゴリズムを訓練します

What situation leads to success?

アルゴリズムに 成功と関係する要素を 理解させるためです

Actually, everyone uses algorithms.

どんな状況が 成功に繋がるのでしょう？

They just don't formalize them in written code.

実は アルゴリズムは 誰でも使っています

Let me give you an example.

プログラムに書かないだけです

I use an algorithm every day to make a meal for my family.

１つ例を挙げましょう

The data I use

私は毎日アルゴリズムを使って 家族の食事を用意します

is the ingredients in my kitchen,

私が利用するデータは

the time I have,

台所にどんな材料があるか

the ambition I have,

どれだけ時間をかけられるか

and I curate that data.

どれだけ料理に凝るかで

I don't count those little packages of ramen noodles as food.

私はそのデータをまとめます

(Laughter)

ちなみにインスタントラーメンは 食べ物とは認めません

My definition of success is:

（笑）

a meal is successful if my kids eat vegetables.

私にとって成功の基準は

It's very different from if my youngest son were in charge.

子供たちが野菜を食べることです

He'd say success is if he gets to eat lots of Nutella.

もし下の息子が決めるなら 基準はガラッと変わり

But I get to choose success.

「いっぱいチョコナッツクリームを 食べられれば成功」と言うでしょう

I am in charge. My opinion matters.

でも基準を決めるのは私です

That's the first rule of algorithms.

責任者は私で 私の意見が重要なんですから

Algorithms are opinions embedded in code.

これがアルゴリズムの第１のルールです

It's really different from what you think most people think of algorithms.

アルゴリズムとはプログラムに 埋め込まれた意見なのです

They think algorithms are objective and true and scientific.

これは ほとんどの人が持つ アルゴリズムのイメージとはかけ離れています

That's a marketing trick.

人々はアルゴリズムが客観的で正しく 科学的なものと思っていますが

It's also a marketing trick

それはマーケティング上のトリックです

to intimidate you with algorithms,

アルゴリズムで人を怯ませるのも

to make you trust and fear algorithms

マーケティングのトリックですし

because you trust and fear mathematics.

アルゴリズムを信用させたり 恐れさせたりするのもそう

A lot can go wrong when we put blind faith in big data.

皆 数学を恐れつつ信用していますから

This is Kiri Soares. She's a high school principal in Brooklyn.

ビッグデータを盲信すると いろいろな問題が生じかねません

In 2011, she told me her teachers were being scored

彼女はキリ・ソアーズ ブルックリンの高校で校長をしています

with a complex, secret algorithm

2011年に彼女が教えてくれたのですが 彼女の学校では

called the "value-added model."

「付加価値モデル」という 複雑な秘密のアルゴリズムで

I told her, "Well, figure out what the formula is, show it to me.

教員が評価されている ということでした

I'm going to explain it to you."

私は こう伝えました 「数式を調べてみましょう

She said, "Well, I tried to get the formula,

見せてくれれば説明しますよ」

but my Department of Education contact told me it was math

すると彼女は 「数式を入手しようとしたら

and I wouldn't understand it."

市教育局の担当者に『これは数学ですよ 理解できないでしょう』と

It gets worse.

言われたんです」

The New York Post filed a Freedom of Information Act request,

事態はさらに深刻化します

got all the teachers' names and all their scores

ニューヨーク・ポスト紙が 情報自由法に基づく開示請求をして

and they published them as an act of teacher-shaming.

ニューヨーク市の全教員の 名前とスコアを手に入れ

When I tried to get the formulas, the source code, through the same means,

教員を辱めるような データを公表しました

I was told I couldn't.

一方 私がソース・コードを 同じ方法で手に入れようとしたところ

I was denied.

無理だと言われました

I later found out

却下されたのです

that nobody in New York City had access to that formula.

後にわかったことですが

No one understood it.

ニューヨーク市で その数式を 見られる人は誰もおらず

Then someone really smart got involved, Gary Rubinstein.

誰も理解していなかったのです

He found 665 teachers from that New York Post data

その後 ゲイリー・ルービンスタインという 頭のキレる人物が登場します

that actually had two scores.

彼はニューヨーク・ポスト紙のデータから

That could happen if they were teaching

２種類のスコアを持っている 教員665名を見つけ出しました

seventh grade math and eighth grade math.

それに該当するのは 例えば

He decided to plot them.

数学を７年生と８年生で 教えている場合です

Each dot represents a teacher.

彼は２種類のスコアを散布図にしました

(Laughter)

点はそれぞれ 先生を表します

What is that?

（笑）

(Laughter)

これは どういうことでしょう？

That should never have been used for individual assessment.

（笑）

It's almost a random number generator.

こんなものを教員の個人評価に 使ってはいけません

(Applause)

まるで乱数発生器じゃないですか

But it was.

（拍手）

This is Sarah Wysocki.

でも実際に使われたんです

She got fired, along with 205 other teachers,

彼女はサラ・ワイサキ

from the Washington, DC school district,

他の205人のワシントンD.C.学区の 先生たちと共に

even though she had great recommendations from her principal

解雇されました

and the parents of her kids.

校長や保護者からの評価は 非常に高かったのにです

I know what a lot of you guys are thinking,

校長や保護者からの評価は 非常に高かったのにです

especially the data scientists, the AI experts here.

皆さんが今 考えていることは わかります

You're thinking, "Well, I would never make an algorithm that inconsistent."

特にデータサイエンティストや AIの専門家なら思うでしょう

But algorithms can go wrong,

「自分なら そんなデタラメな アルゴリズムは作らない」って

even have deeply destructive effects with good intentions.

でもアルゴリズムは誤ることもあれば

And whereas an airplane that's designed badly

善意に基づいていても 破壊的な影響を及ぼすことだってあります

crashes to the earth and everyone sees it,

飛行機なら 設計がまずければ

an algorithm designed badly

墜落しますし その様子が見えますが

can go on for a long time, silently wreaking havoc.

アルゴリズムだと設計がまずくても

This is Roger Ailes.

長期間に渡って 音もなく 大惨事をもたらし続けかねないんです

(Laughter)

彼はロジャー・エイルズ

He founded Fox News in 1996.

（笑）

More than 20 women complained about sexual harassment.

1996年にFOXニュースを創設しました

They said they weren't allowed to succeed at Fox News.

20人以上の女性が セクハラ被害を訴えました

He was ousted last year, but we've seen recently

またキャリアアップを 妨害されたそうです

that the problems have persisted.

彼自身は2016年に地位を追われましたが

That begs the question:

最近のニュースにある通り 問題は依然残っています

What should Fox News do to turn over another leaf?

ここで疑問が湧いてきます

Well, what if they replaced their hiring process

再起をはかるために FOXニュースは何をすべきか？

with a machine-learning algorithm?

人材採用プロセスを 機械学習アルゴリズムに

That sounds good, right?

替えるのはどうでしょう？

Think about it.

いいアイデアでしょう？

The data, what would the data be?

検討してみましょう

A reasonable choice would be the last 21 years of applications to Fox News.

まずデータには 何が使えるでしょう？

Reasonable.

過去21年間に FOXニュースに送られた 履歴書がいいでしょう

What about the definition of success?

妥当なデータです

Reasonable choice would be,

では成功の基準は？

well, who is successful at Fox News?

妥当な基準は…

I guess someone who, say, stayed there for four years

どんな人がFOXニュースで 成功するんでしょう？

and was promoted at least once.

例えば ４年在職して 最低１回は昇進していれば

Sounds reasonable.

成功と言えそうです

And then the algorithm would be trained.

妥当な基準です

It would be trained to look for people to learn what led to success,

それをアルゴリズムに学習させます

what kind of applications historically led to success

人々を探って 何が成功につながるか—

by that definition.

これまで どんな履歴書が 成功に繋がってきたのかを

Now think about what would happen

この基準に従って学習させるのです

if we applied that to a current pool of applicants.

さて このアルゴリズムを

It would filter out women

現在の就職希望者に 当てはめると どうなるでしょう？

because they do not look like people who were successful in the past.

まず女性は除外されるでしょう

Algorithms don't make things fair

過去に成功してきたようには 見えないからです

if you just blithely, blindly apply algorithms.

配慮もなく やみくもに アルゴリズムを適用しても

They don't make things fair.

物事は公平にはならないんです

They repeat our past practices,

アルゴリズムは公平を生みません

our patterns.

過去の行為や行動パターンを

They automate the status quo.

繰り返し

That would be great if we had a perfect world,

自動的に現状を維持するだけです

but we don't.

この世界が完璧なら それでいいんでしょうが

And I'll add that most companies don't have embarrassing lawsuits,

そうではありません

but the data scientists in those companies

さらに付け加えると ほとんどの企業は みっともない裁判を抱えている訳ではありませんが

are told to follow the data,

こういった企業にいる データサイエンティストは

to focus on accuracy.

正確性に焦点を当て

Think about what that means.

データに従うよう指示されています

Because we all have bias, it means they could be codifying sexism

その意味を考えてみましょう

or any other kind of bigotry.

誰でもバイアスを持っているので

Thought experiment,

アルゴリズムに性差別や その他の偏見が コード化されている可能性があります

because I like them:

思考実験をしてみましょう

an entirely segregated society --

私は思考実験が好きなので

racially segregated, all towns, all neighborhoods

人種を完全に隔離した 社会があるとします

and where we send the police only to the minority neighborhoods

どの街でも どの地域でも 人種は隔離され

to look for crime.

犯罪を見つけるために 警察を送り込むのは

The arrest data would be very biased.

マイノリティーが住む地域だけです

What if, on top of that, we found the data scientists

すると逮捕者のデータは かなり偏ったものになるでしょう

and paid the data scientists to predict where the next crime would occur?

さらに データサイエンティストを 探してきて

Minority neighborhood.

報酬を払い 次の犯罪が起こる場所を 予測させたらどうなるでしょう？

Or to predict who the next criminal would be?

マイノリティーの地域になります

A minority.

あるいは 次に犯罪を犯しそうな人を 予測させたら？

The data scientists would brag about how great and how accurate

マイノリティーでしょうね

their model would be,

データサイエンティストは モデルの素晴らしさと正確さを

and they'd be right.

自慢するでしょうし

Now, reality isn't that drastic, but we do have severe segregations

確かにその通りでしょう

in many cities and towns,

さて 現実はそこまで極端ではありませんが

and we have plenty of evidence

実際に多くの市や町で 深刻な人種差別があり

of biased policing and justice system data.

警察の活動や司法制度のデータが 偏っているという

And we actually do predict hotspots,

証拠が揃っています

places where crimes will occur.

実際にホットスポットと呼ばれる 犯罪多発地域を

And we do predict, in fact, the individual criminality,

予測しています

the criminality of individuals.

さらには個々人の犯罪傾向を

The news organization ProPublica recently looked into

実際に予測しています

one of those "recidivism risk" algorithms,

報道組織プロパブリカが最近 いわゆる「再犯リスク」アルゴリズムの

as they're called,

１つを取り上げ調査しました

being used in Florida during sentencing by judges.

１つを取り上げ調査しました

Bernard, on the left, the black man, was scored a 10 out of 10.

フロリダ州で 判事による 量刑手続に使われているものです

Dylan, on the right, 3 out of 10.

左側の黒人男性バーナードのスコアは 10点満点の10点で

10 out of 10, high risk. 3 out of 10, low risk.

右の白人ディランは３点でした

They were both brought in for drug possession.

10点中10点はハイリスクで 3点はローリスクです

They both had records,

２人とも麻薬所持で逮捕され

but Dylan had a felony

どちらも前科はありましたが

but Bernard didn't.

３点のディランには重罪の前科があり

This matters, because the higher score you are,

10点のバーナードにはありませんでした

the more likely you're being given a longer sentence.

これが重要な理由は スコアが高ければ高いほど

What's going on?

刑期が長くなる 傾向があるからです

Data laundering.

どうなっているのでしょう？

It's a process by which technologists hide ugly truths

これは「データ・ロンダリング」です

inside black box algorithms

このプロセスを通して 技術者が ブラックボックスのようなアルゴリズムの内部に

and call them objective;

醜い現実を隠し

call them meritocratic.

「客観的」とか

When they're secret, important and destructive,

「能力主義」と称しているんです

I've coined a term for these algorithms:

秘密にされている 重要で破壊的なアルゴリズムを

"weapons of math destruction."

私はこんな名前で呼んでいます

(Laughter)

「大量破壊数学」です

(Applause)

（笑）

They're everywhere, and it's not a mistake.

（拍手）

These are private companies building private algorithms

それは間違いなく どこにでも存在します

for private ends.

民間企業が 私的なアルゴリズムを 私的な目的で

Even the ones I talked about for teachers and the public police,

作っているんです

those were built by private companies

先程お話しした 教員や警察向けのアルゴリズムでさえ

and sold to the government institutions.

民間企業が制作し

They call it their "secret sauce" --

政府機関に販売したものです

that's why they can't tell us about it.

アルゴリズムは 「秘伝のタレ」だから

It's also private power.

公開できないと 企業側は主張します

They are profiting for wielding the authority of the inscrutable.

また アルゴリズムは私的な権力です

Now you might think, since all this stuff is private

この謎めいた存在が持つ権威を振りかざして 企業は利益を得ています

and there's competition,

ただ こう思うかもしれません アルゴリズムが民間のものなら

maybe the free market will solve this problem.

競争があるので

It won't.

自由市場の力が 問題を解決するのではないか…

There's a lot of money to be made in unfairness.

でも そうはいきません

Also, we're not economic rational agents.

不公平は大きな利益を 生み出しますから

We all are biased.

それに我々人間は 合理的経済人ではなく

We're all racist and bigoted in ways that we wish we weren't,

誰もがバイアスを持っています

in ways that we don't even know.

私たちは 自分が望みも 気づきもしない形で

We know this, though, in aggregate,

差別や偏見を持っているのです

because sociologists have consistently demonstrated this

全体を俯瞰して見ると そのことがわかります

with these experiments they build,

なぜなら社会学者が 考案した実験を通して

where they send a bunch of applications to jobs out,

一貫して実証されてきたからです

equally qualified but some have white-sounding names

その実験では研究者が 履歴書を大量に送付しました

and some have black-sounding names,

同じように資格は満たしていますが 一部は白人っぽい名前で

and it's always disappointing, the results -- always.

一部は黒人っぽい名前

So we are the ones that are biased,

そして結果は 常にがっかりするものでした

and we are injecting those biases into the algorithms

つまりバイアスがあるのは私たちで

by choosing what data to collect,

どんなデータを集め選ぶかによって

like I chose not to think about ramen noodles --

そのバイアスをアルゴリズムに 注入しているんです

I decided it was irrelevant.

これは私がインスタントラーメンを 含めないのと同じで

But by trusting the data that's actually picking up on past practices

不適切だと決めたのは 私なんです

and by choosing the definition of success,

しかし実際に過去の行動を元にした データを信頼し

how can we expect the algorithms to emerge unscathed?

成功の基準を恣意的に選びながら

We can't. We have to check them.

どうして欠陥のないアルゴリズムを 期待できるのでしょう？

We have to check them for fairness.

それは無理です チェックが必要なんです

The good news is, we can check them for fairness.

公平性を確かめる必要があるんです

Algorithms can be interrogated,

幸い公正性は確認できます

and they will tell us the truth every time.

アルゴリズムに問いただせば

And we can fix them. We can make them better.

常に本当のことしか 答えないので

I call this an algorithmic audit,

修正を加え より良いものに 作り替えられます

and I'll walk you through it.

私は これを アルゴリズム監査と呼んでいます

First, data integrity check.

その手順を説明しましょう

For the recidivism risk algorithm I talked about,

まずはデータ完全性チェックです

a data integrity check would mean we'd have to come to terms with the fact

先ほど登場した 再犯リスク・アルゴリズムの場合—

that in the US, whites and blacks smoke pot at the same rate

データ完全性チェックとは 事実を直視するという意味になるでしょう

but blacks are far more likely to be arrested --

例えばアメリカでは 大麻の使用率は 白人と黒人で同じなのに

four or five times more likely, depending on the area.

逮捕される割合は 黒人の方がはるかに高く

What is that bias looking like in other crime categories,

地域によっては ４〜５倍になるという事実があります

and how do we account for it?

このようなバイアスは 他の犯罪では どんな形で表れ

Second, we should think about the definition of success,

私たちは それを どう説明したらいいでしょうか？

audit that.

次に 私たちは成功の基準について 考えなければなりません

Remember -- with the hiring algorithm? We talked about it.

その基準を監査するのです

Someone who stays for four years and is promoted once?

採用アルゴリズムを 思い出してください

Well, that is a successful employee,

勤続年数が４年で 昇進１回の人はどうだったでしょう

but it's also an employee that is supported by their culture.

その人は成功した社員でしょうが

That said, also it can be quite biased.

同時に その会社の文化に 支持されたとも言えます

We need to separate those two things.

ただ その文化に バイアスがあるかもしれないので

We should look to the blind orchestra audition

この２つは分けて考える必要があります

as an example.

一つの例として オーケストラの ブラインド・オーディションを見るべきでしょう

That's where the people auditioning are behind a sheet.

一つの例として オーケストラの ブラインド・オーディションを見るべきでしょう

What I want to think about there

オーディションを受ける人は 衝立の向こうにいます

is the people who are listening have decided what's important

ここで注目したいのは

and they've decided what's not important,

審査員は 何が重要で 何が重要でないかを