in my very first year of college --

私はコンピュータ・プログラマー としての最初の仕事を

basically, as a teenager.

大学１年生で始めました

Soon after I started working,

まあ 10代だったんですね

writing software in a company,

ある会社で ソフトウェアを

a manager who worked at the company came down to where I was,

書くという仕事を 始めてまもなく

and he whispered to me,

会社のマネージャーが 私のところに来て

"Can he tell if I'm lying?"

こうささやきました

There was nobody else in the room.

「僕の嘘 彼にばれてる？」

"Can who tell if you're lying? And why are we whispering?"

部屋には他に誰もいません

The manager pointed at the computer in the room.

「誰にばれてるって言うんです？ それにどうしてひそひそ声で？」

"Can he tell if I'm lying?"

マネージャーは 室内のコンピュータを指さして

Well, that manager was having an affair with the receptionist.

「僕の嘘 彼にばれてる？」

(Laughter)

実はこのマネージャー 受付係と浮気してたんです

And I was still a teenager.

（笑）

So I whisper-shouted back to him,

私はまだ10代でした

"Yes, the computer can tell if you're lying."

だからささやき声で 彼に叫び返しました

(Laughter)

「ええ コンピュータには お見通しですよ」って

Well, I laughed, but actually, the laugh's on me.

（笑）

Nowadays, there are computational systems

笑っちゃいましたが 実は その笑いは自分に返ってきました

that can suss out emotional states and even lying

今日 コンピュータ・システムは

from processing human faces.

人間の顔画像を処理することによって

Advertisers and even governments are very interested.

感情や 嘘まで見抜けるんです

I had become a computer programmer

広告主や 政府までもが 非常に関心を寄せています

because I was one of those kids crazy about math and science.

コンピュータプログラマーに 私がなったのは

But somewhere along the line I'd learned about nuclear weapons,

子どもの頃から数学と科学が 熱狂的に好きだったからです

and I'd gotten really concerned with the ethics of science.

しかしその過程で 核兵器についても学び

I was troubled.

科学の倫理について 非常に懸念するようになりました

However, because of family circumstances,

悩みました

I also needed to start working as soon as possible.

しかし 家庭の事情で

So I thought to myself, hey, let me pick a technical field

私はできるだけ早く 働き始めなければなりませんでした

where I can get a job easily

それでひそかに考えました 技術者として

and where I don't have to deal with any troublesome questions of ethics.

簡単に職が得られて

So I picked computers.

倫理という厄介な問題を何も 考えなくていい分野の仕事はないかと

(Laughter)

それで選んだのがコンピュータです

Well, ha, ha, ha! All the laughs are on me.

（笑）

Nowadays, computer scientists are building platforms

ハハ 笑っちゃう 自分のことを笑ってるんです

that control what a billion people see every day.

近頃 コンピュータ科学者は

They're developing cars that could decide who to run over.

10億人が毎日見ているものを制御する プラットフォームを作っています

They're even building machines, weapons,

誰をひき殺すか決定できる 車を開発しています

that might kill human beings in war.

戦争で人間を殺すかもしれないような

It's ethics all the way down.

機械や兵器さえも作っています

Machine intelligence is here.

全てにおいて重要になるのが倫理です

We're now using computation to make all sort of decisions,

機械知能は もう存在しています

but also new kinds of decisions.

私たちは今や コンピュータを使って あらゆる種類の決定を下し

We're asking questions to computation that have no single right answers,

さらに新しい類の決定も下します

that are subjective

私たちは 単一の正答がない問題の答えを コンピュータに尋ねています

and open-ended and value-laden.

その問題とは 主観的で

We're asking questions like,

オープンエンドで 価値観にかかわるものです

"Who should the company hire?"

私たちがする質問はこんなふうです

"Which update from which friend should you be shown?"

「誰を社員に採用すべきか？」

"Which convict is more likely to reoffend?"

「どの友達からの新着情報を 表示すべきか？」

"Which news item or movie should be recommended to people?"

「再犯する可能性の高い受刑者は誰か？」

Look, yes, we've been using computers for a while,

「人々に勧めるべき ニュースや映画はどれか？」

but this is different.

確かに私たちは しばらくの間 コンピュータを使ってきました

This is a historical twist,

しかしこれは違います

because we cannot anchor computation for such subjective decisions

これは歴史的なひずみです

the way we can anchor computation for flying airplanes, building bridges,

なぜならそのような主観的な決定を コンピュータには頼れないからです

going to the moon.

飛行機を飛ばしたり 建物を建てたり

Are airplanes safer? Did the bridge sway and fall?

月に行く場合とは違うんです

There, we have agreed-upon, fairly clear benchmarks,

飛行機の方が安全か？ その橋は揺れたり落ちたりしたか？

and we have laws of nature to guide us.

そこでは合意された かなり明確な基準があり

We have no such anchors and benchmarks

自然の法則が私たちを導いてくれます

for decisions in messy human affairs.

私たちがそのような 支えや基準を何も持っていないのが

To make things more complicated, our software is getting more powerful,

人間くさい事柄における 厄介な決定についてです

but it's also getting less transparent and more complex.

もっと複雑なことに ソフトウェアは強力になりつつあります

Recently, in the past decade,

その一方で 透明性を減らし 複雑さを増してもいるのです

complex algorithms have made great strides.

ここ10年のあいだ

They can recognize human faces.

複雑なアルゴリズムは 大きく前進しました

They can decipher handwriting.

人間の顔を認識できます

They can detect credit card fraud

手書き文字を読み取れます

and block spam

クレジットカードの不正使用を探知し

and they can translate between languages.

スパムをブロックし

They can detect tumors in medical imaging.

言語の翻訳もできます

They can beat humans in chess and Go.

医用イメージングで 腫瘍を探しあてることもできます

Much of this progress comes from a method called "machine learning."

チェスや碁で人間を 打ち負かすこともできます

Machine learning is different than traditional programming,

この進歩の多くは 「機械学習」と 呼ばれる方法から成り立っています

where you give the computer detailed, exact, painstaking instructions.

機械学習は コンピュータに 詳細で正確、綿密な指示を与える―

It's more like you take the system and you feed it lots of data,

伝統的なプログラミングとは異なります

including unstructured data,

機械学習は システムに 大量のデータを しこたま詰め込むやり方です

like the kind we generate in our digital lives.

そこには非構造化データという

And the system learns by churning through this data.

人間がデジタルライフで 生成する類のものも含まれます

And also, crucially,

そしてシステムはこのデータを 組み合わせながら学習します

these systems don't operate under a single-answer logic.

そしてまた重要なことに

They don't produce a simple answer; it's more probabilistic:

これらのシステムは 答が単一になる論理で動いてはいません

"This one is probably more like what you're looking for."

単純に回答を与えるのではなく もっと確率論的です

Now, the upside is: this method is really powerful.

「これはおそらくあなたが 探しているものにより近いでしょう」

The head of Google's AI systems called it,

これの良い面は この方法が非常に強力であることです

"the unreasonable effectiveness of data."

GoogleのAIシステムのトップはこれを

The downside is,

「データの理不尽なほどの強力さ」 と呼んでいます

we don't really understand what the system learned.

このシステムの悪い面は

In fact, that's its power.

これが何を学習しているのか 私たちはそれほど理解していないことです

This is less like giving instructions to a computer;

実際 その強力さが問題なのです

it's more like training a puppy-machine-creature

これはコンピュータに 指示を与えるというよりは

we don't really understand or control.

むしろ子犬のような生き物として 訓練するようなものです

So this is our problem.

その機械をそれほど 理解も制御もできていないのにです

It's a problem when this artificial intelligence system gets things wrong.

これは問題です

It's also a problem when it gets things right,

この人工知能システムが 誤りを犯したときだけでなく

because we don't even know which is which when it's a subjective problem.

正しいことをした場合にも 問題が生じます

We don't know what this thing is thinking.

なぜなら主観的な問題の場合 私たちには正誤さえも分からないからです

So, consider a hiring algorithm --

私たちはこの物体が 何を考えているか知りません

a system used to hire people, using machine-learning systems.

ですから たとえば雇用アルゴリズムを 考えてみましょう

Such a system would have been trained on previous employees' data

社員を雇う際に使われるシステムで 機械学習システムを使っています

and instructed to find and hire

そのようなシステムは過去の従業員の データに基づいて訓練されています

people like the existing high performers in the company.

そしてそのシステムが指示するのは

Sounds good.

その会社に在籍する業績優秀者に似た 人材を探し雇うことです

I once attended a conference

良さそうですね

that brought together human resources managers and executives,

以前ある会議に 出席した折のことですが

high-level people,

そこには人事部のマネージャーと 執行役が集まっていました

using such systems in hiring.

高い職位の人たちで

They were super excited.

そのようなシステムを 雇用に活用しています

They thought that this would make hiring more objective, less biased,

彼らは非常にワクワクしていました

and give women and minorities a better shot

彼らの考えでは このシステムは より客観的で偏見の少ない雇用を行い

against biased human managers.

マネージャーの偏見に対して 女性や少数派の人々に

And look -- human hiring is biased.

より良い機会を与えるものでした

I know.

そうです　 雇用には偏見が混じるのです

I mean, in one of my early jobs as a programmer,

私は知っています

my immediate manager would sometimes come down to where I was

ある職場で プログラマーとして 働きだした頃

really early in the morning or really late in the afternoon,

直属のマネージャーが 時々私のところに来ました

and she'd say, "Zeynep, let's go to lunch!"

それも早朝とか夕方にです

I'd be puzzled by the weird timing.

そして彼女はこう言うんです 「ゼイナップ ランチ行きましょ」

It's 4pm. Lunch?

おかしなタイミングで 全く訳が分かりませんでした

I was broke, so free lunch. I always went.

午後４時にランチ？

I later realized what was happening.

私はお金がなかったので おごりでした いつも行きました

My immediate managers had not confessed to their higher-ups

後で何が起こっていたのか悟りました

that the programmer they hired for a serious job was a teen girl

直属のマネージャーは上層部に

who wore jeans and sneakers to work.

重要な仕事のために雇ったのが

I was doing a good job, I just looked wrong

ジーンズとスニーカーで仕事をする 10代女子だと言ってなかったんです

and was the wrong age and gender.

私は良い仕事ぶりだったのに 体裁が悪くて

So hiring in a gender- and race-blind way

年齢や性別の点でも 良くなかったんです

certainly sounds good to me.

ですから性別や人種に 惑わされない形での雇用は

But with these systems, it is more complicated, and here's why:

非常に良いことだと 私には思えます

Currently, computational systems can infer all sorts of things about you

でもこのシステムを用いると 事態はより複雑になります なぜなら

from your digital crumbs,

現在コンピュータシステムは あなたに関するあらゆる類のことを

even if you have not disclosed those things.

デジタル情報の断片から 推測できるからです

They can infer your sexual orientation,

自分が開示していなくてもです

your personality traits,

システムはあなたの性的志向や

your political leanings.

性格特徴や

They have predictive power with high levels of accuracy.

政治的傾向を推測できます

Remember -- for things you haven't even disclosed.

システムは高水準の正確さで 予測する力を持っています

This is inference.

思い出してください 開示さえしていない事柄をですよ

I have a friend who developed such computational systems

これが推測です

to predict the likelihood of clinical or postpartum depression

ある友達は そのようなコンピュータシステムを

from social media data.

病的な あるいは産後の 抑うつの可能性を 予測するために開発しています

The results are impressive.

SNSのデータを用いるんです

Her system can predict the likelihood of depression

結果は素晴らしいです

months before the onset of any symptoms --

彼女のシステムは うつ罹患の可能性を

months before.

症状が現れる数か月前に 予測できるのです

No symptoms, there's prediction.

数か月も前ですよ

She hopes it will be used for early intervention. Great!

症状が全くない段階での予測です

But now put this in the context of hiring.

彼女はこれを早期介入のために 活用したがっています 素晴らしい！

So at this human resources managers conference,

でもこれを雇用の文脈で 考えてみましょう

I approached a high-level manager in a very large company,

例の 人事マネージャーの会議では

and I said to her, "Look, what if, unbeknownst to you,

私はある非常に大きな企業の 高職位のマネージャーに近づき

your system is weeding out people with high future likelihood of depression?

こう言いました 「まだご存じないこととは思いますが

They're not depressed now, just maybe in the future, more likely.

もしそのシステムが 将来うつになる可能性が 高い人を排除しているとしたらどうでしょう？

What if it's weeding out women more likely to be pregnant

今ではなく　 将来そうなる可能性が高い人です

in the next year or two but aren't pregnant now?

妊娠する可能性の 高い女性を排除しているとしたら？

What if it's hiring aggressive people because that's your workplace culture?"

来年か再来年のことで 今は妊娠していない場合ですよ？

You can't tell this by looking at gender breakdowns.

もし職場の文化に合っているからと 攻撃的な人が雇われたらどうします？」

Those may be balanced.

性別の構成からは そのことを読み取れません

And since this is machine learning, not traditional coding,

構成比はバランスが取れています

there is no variable there labeled "higher risk of depression,"

これは機械学習で 伝統的なプログラムではないので

"higher risk of pregnancy,"

たとえば「うつハイリスク」とか 「妊娠ハイリスク」

"aggressive guy scale."

「攻撃的な人物度」

Not only do you not know what your system is selecting on,

などの変数は登場しません

you don't even know where to begin to look.

システムが何に基づいて選択しているのか 分からないばかりか

It's a black box.

どうすれば分かるのかの 手がかりもありません

It has predictive power, but you don't understand it.

ブラックボックスなんです

"What safeguards," I asked, "do you have

システムには予測力がありますが 人間には理解できない代物です

to make sure that your black box isn't doing something shady?"

「どんな安全対策をしていますか？

She looked at me as if I had just stepped on 10 puppy tails.

あなたのブラックボックスが やましいことをしないようにです」

(Laughter)

彼女は子犬の尻尾を10匹分も踏みつけた 人でなしを見るかのような顔になりました

She stared at me and she said,

（笑）

"I don't want to hear another word about this."

彼女は私をじっと見て言いました

And she turned around and walked away.

「これについては もう何も聞きたくない」

Mind you -- she wasn't rude.

そして彼女は踵を返して 行ってしまいました

It was clearly: what I don't know isn't my problem, go away, death stare.

彼女が失礼なわけではありません

(Laughter)

明らかに 聞かなかったことにしたい あっち行ってという憎悪の眼差しでした

Look, such a system may even be less biased

（笑）

than human managers in some ways.

いいですか そのようなシステムは ある意味 偏見の程度は

And it could make monetary sense.

人間のマネージャーよりは 少ないかもしれません

But it could also lead

費用の面でも 理にかなっているでしょう

to a steady but stealthy shutting out of the job market

でもそれはまた

of people with higher risk of depression.

ひそやかながら確実に 労働市場からの

Is this the kind of society we want to build,

うつハイリスク者の締め出しに つながりかねません

without even knowing we've done this,

これが私たちの築きたい 社会の姿でしょうか？

because we turned decision-making to machines we don't totally understand?

こんなことをしていることさえ 私たちは知らないんです

Another problem is this:

完全には理解していない機械に 意思決定をさせているんですからね

these systems are often trained on data generated by our actions,

もう１つの問題はこれです

human imprints.

このようなシステムの訓練は往々にして 人間の行動データに基づいています

Well, they could just be reflecting our biases,

人間らしさが刻み込まれています

and these systems could be picking up on our biases

それらは私たちの偏見を 反映している可能性があり

and amplifying them

これらのシステムは 私たちの偏見を拾い上げ

and showing them back to us,

それを増幅して

while we're telling ourselves,

私たちに示し返しかねません

"We're just doing objective, neutral computation."

私たちはこんな言いっぷりなのにですよ

Researchers found that on Google,

「私たちはまさしく客観的です 中立的なコンピューティングですから」

women are less likely than men to be shown job ads for high-paying jobs.

研究者たちは Googleにおいて

And searching for African-American names

女性には 高給の求人広告が 表示されにくいことを見出しました

is more likely to bring up ads suggesting criminal history,

また アフリカ系アメリカ人の 名前を検索すると

even when there is none.

犯罪歴をほのめかす広告が 高確率で表示されます

Such hidden biases and black-box algorithms

犯罪歴がない人の場合でもそうです

that researchers uncover sometimes but sometimes we don't know,

そのような隠れた偏見と ブラックボックスのアルゴリズムを

can have life-altering consequences.

研究者が暴くこともありますが 知られない場合もあります

In Wisconsin, a defendant was sentenced to six years in prison

それらは人生を 変える結果になりうるのです

for evading the police.

ウィスコンシンで ある被告が 刑期６年の判決を受けました

You may not know this,

警察官から逃げたためです

but algorithms are increasingly used in parole and sentencing decisions.

ご存知ないかもしれませんが

He wanted to know: How is this score calculated?

仮釈放や判決の決定においても アルゴリズムの使用が増えています

It's a commercial black box.

彼はこのスコアが計算される仕組みを 知りたいと思いました

The company refused to have its algorithm be challenged in open court.

それは商用のブラックボックスです

But ProPublica, an investigative nonprofit, audited that very algorithm

企業はアルゴリズムが 公開の法廷で検証されるのを拒みました

with what public data they could find,

でもProPublicaという非営利の調査団体が そのアルゴリズムを監査しました

and found that its outcomes were biased

入手可能だった 公開データを用いてです

and its predictive power was dismal, barely better than chance,

そして分かったのは 結果には偏見が影響しており

and it was wrongly labeling black defendants as future criminals

予測力はひどいものでした 偶然よりわずかにましな程度です

at twice the rate of white defendants.

黒人の被告は 白人の被告に比べて 将来犯罪を起こす確率が

So, consider this case:

２倍高いと 誤ってラベリングされていました

This woman was late picking up her godsister

ではこのケースを考えてみましょう

from a school in Broward County, Florida,

女性のほうは予定より遅れて 親友を迎えに行くため

running down the street with a friend of hers.

フロリダ州ブロワード郡の ある学校に向かって

They spotted an unlocked kid's bike and a scooter on a porch

友達と一緒に道を走っていました

and foolishly jumped on it.

ふたりはある家の玄関で 無施錠の 子ども用の自転車とキックスケーターを見つけ

As they were speeding off, a woman came out and said,

愚かにもそれに飛び乗りました

"Hey! That's my kid's bike!"

走り去ろうとしたところ 女性が出てきて言いました

They dropped it, they walked away, but they were arrested.

「ちょっと！ それはうちの子の自転車よ！」

She was wrong, she was foolish, but she was also just 18.

ふたりは降りて 歩き去りましたが 逮捕されました

She had a couple of juvenile misdemeanors.

彼女は間違っていたし愚かでした でもまだ18歳です

Meanwhile, that man had been arrested for shoplifting in Home Depot --

彼女は２回の非行歴がありました

85 dollars' worth of stuff, a similar petty crime.

一方 男性のほうは Home Depoで 万引きをして捕まりました

But he had two prior armed robbery convictions.

彼が万引きしたのは85ドル相当で 同じく軽犯罪ですが

But the algorithm scored her as high risk, and not him.

彼は強盗で前科２犯でした

Two years later, ProPublica found that she had not reoffended.

でもアルゴリズムは 男性ではなく 女性の方をハイリスクと評価しました

It was just hard to get a job for her with her record.

その女性が２年後に再犯していないことを ProPiblicaは明らかにしています

He, on the other hand, did reoffend

犯罪記録をもつ彼女が 職を得るのは実に困難でした

and is now serving an eight-year prison term for a later crime.

一方 男性の方は再犯し

Clearly, we need to audit our black boxes