The Department of Transport estimated that last year

今日はテクノロジーと 社会についてお話しします

35,000 people died from traffic crashes in the US alone.

運輸省の推計では

Worldwide, 1.2 million people die every year in traffic accidents.

去年の交通事故死者数は 米国だけで３万５千人に上ります

If there was a way we could eliminate 90 percent of those accidents,

世界全体では 毎年120万人が 交通事故で亡くなっています

would you support it?

そのような交通事故の９割を なくせる方法があるとしたら

Of course you would.

皆さんは支持しますか？

This is what driverless car technology promises to achieve

もちろんするでしょう

by eliminating the main source of accidents --

これは自動運転車の技術が 実現を約束していることです

human error.

事故の主要な原因である

Now picture yourself in a driverless car in the year 2030,

人的なミスを 取り除くことによってです

sitting back and watching this vintage TEDxCambridge video.

想像してみてください 2030年に自動運転車に乗って

(Laughter)

くつろいで この大昔の TEDxCambridgeのビデオを見ているところを

All of a sudden,

(笑)

the car experiences mechanical failure and is unable to stop.

突然 車が故障を起こし

If the car continues,

ブレーキが 効かなくなりました

it will crash into a bunch of pedestrians crossing the street,

もし真っ直ぐ進み続けたら

but the car may swerve,

道を横断する歩行者の群れに 突っ込むことになります

hitting one bystander,

でもハンドルを切れば

killing them to save the pedestrians.

歩道の１人を死なせるかわりに

What should the car do, and who should decide?

何人もの歩行者を 救うことができます

What if instead the car could swerve into a wall,

車はどうすべきで そして誰が それを決めるべきなのでしょう？

crashing and killing you, the passenger,

あるいはハンドルを切って 壁に突っ込んで

in order to save those pedestrians?

歩行者を救うかわりに

This scenario is inspired by the trolley problem,

車の中の人を死なせるとしたら どうでしょう？

which was invented by philosophers a few decades ago

このシナリオは

to think about ethics.

倫理的な問題について考察するために 数十年前に哲学者が考案した―

Now, the way we think about this problem matters.

「トロッコ問題」を ヒントにしたものです

We may for example not think about it at all.

この問題を我々がどう考えるか ということが重要です

We may say this scenario is unrealistic,

たとえば まったく考えない というのもありえます

incredibly unlikely, or just silly.

こんなシナリオは 非現実的で ありそうになく

But I think this criticism misses the point

馬鹿げていると

because it takes the scenario too literally.

しかしそのような批判は

Of course no accident is going to look like this;

話を文字通りに取りすぎて 本質を見逃していると思います

no accident has two or three options

もちろん現実の事故は この通りには行かないでしょう

where everybody dies somehow.

事故状況において選択肢が ２つか３つしかなく

Instead, the car is going to calculate something

いずれの場合も誰かが死ぬ などということはなく

like the probability of hitting a certain group of people,

実際には 車がそれぞれの相手を轢く 確率のようなものを

if you swerve one direction versus another direction,

計算することになるでしょう

you might slightly increase the risk to passengers or other drivers

ハンドルを切る方向によって

versus pedestrians.

車の乗員や 歩行者や 他のドライバーのリスクが

It's going to be a more complex calculation,

どう変わるかなどです

but it's still going to involve trade-offs,

計算はずっと複雑なものに なるでしょうが

and trade-offs often require ethics.

トレードオフの問題があることに 変わりはありません

We might say then, "Well, let's not worry about this.

そしてトレードオフには 倫理がからむのです

Let's wait until technology is fully ready and 100 percent safe."

「そんなことに 頭を悩ませるのはやめて

Suppose that we can indeed eliminate 90 percent of those accidents,

技術がすっかり成熟して100%安全なものに なるまで待とう」と思うかもしれません

or even 99 percent in the next 10 years.

今後10年で そういった事故の90%—

What if eliminating the last one percent of accidents

いや 99%まで なくせると仮定しましょう

requires 50 more years of research?

でも 残りの１%の事故を なくすために

Should we not adopt the technology?

さらに50年の研究が 必要だったとしたらどうでしょう？

That's 60 million people dead in car accidents

この技術の採用を 見送るべきでしょうか？

if we maintain the current rate.

現在の状況が続くとしたら

So the point is,

その間に６千万人が 交通事故で死ぬことになります

waiting for full safety is also a choice,

技術がすっかり安全になるまで

and it also involves trade-offs.

待つというのも １つの選択であり

People online on social media have been coming up with all sorts of ways

それにもトレードオフは 伴うということです

to not think about this problem.

人々はソーシャルメディア上で

One person suggested the car should just swerve somehow

この問題に頭を悩ませないための あらゆる方法を考え出しています

in between the passengers --

ある人は

(Laughter)

車は歩行者の間をすり抜ければ いいんだと指摘しました—

and the bystander.

(笑)

Of course if that's what the car can do, that's what the car should do.

道端の人も避けながら

We're interested in scenarios in which this is not possible.

それができるなら もちろん そうすべきでしょうが

And my personal favorite was a suggestion by a blogger

我々に興味があるのは それができない場合です

to have an eject button in the car that you press --

私が気に入っているのは

(Laughter)

あるブロガーが提案したものですが 脱出ボタンで車から飛び出して—

just before the car self-destructs.

(笑)

(Laughter)

車は自己破壊させる という方法です

So if we acknowledge that cars will have to make trade-offs on the road,

(笑)

how do we think about those trade-offs,

車が道路上でトレードオフの 判断をしなければならないと認めるとして

and how do we decide?

では そのようなトレードオフは どう考え

Well, maybe we should run a survey to find out what society wants,

どのように 決めたらよいのでしょう？

because ultimately,

社会が何を望むのか探るため 世論調査をすべきかもしれません

regulations and the law are a reflection of societal values.

規制や法というのは

So this is what we did.

社会の価値観を 反映したものであるわけですから

With my collaborators,

それで やってみました

Jean-François Bonnefon and Azim Shariff,

共同研究者の

we ran a survey

ジャン=フランソワ・ボンフォンと アジム・シャリフとともに

in which we presented people with these types of scenarios.

こういった感じの シナリオを提示する

We gave them two options inspired by two philosophers:

世論調査をしました

Jeremy Bentham and Immanuel Kant.

２人の哲学者にヒントを得た 選択肢を用意しました

Bentham says the car should follow utilitarian ethics:

ジェレミ・ベンサムと イマヌエル・カントです

it should take the action that will minimize total harm --

ベンサムなら 車は 功利主義倫理に従うべきだと言うでしょう

even if that action will kill a bystander

被害の総量を最小化するような 行動を取るべきだと

and even if that action will kill the passenger.

たとえその行動によって

Immanuel Kant says the car should follow duty-bound principles,

歩行者や乗員が 死ぬことになっても

like "Thou shalt not kill."

イマヌエル・カントなら

So you should not take an action that explicitly harms a human being,

「殺すべからず」といった道義的な原則に 従った行動をすべきだと言うでしょう

and you should let the car take its course

意図的に人を害する行動を 取るべきではなく

even if that's going to harm more people.

結果的に より多くの人が 被害に遭おうとも

What do you think?

車は そのまま進めるべきだと

Bentham or Kant?

皆さんはどう思いますか？

Here's what we found.

ベンサムかカントか？

Most people sided with Bentham.

私たちの調査で分かったのは

So it seems that people want cars to be utilitarian,

多くの人はベンサムの側の 意見だということです

minimize total harm,

車が功利主義的に 被害を最小化することを

and that's what we should all do.

みんな望んでいるようなので

Problem solved.

我々はそうすべきなのでしょう

But there is a little catch.

問題解決です

When we asked people whether they would purchase such cars,

しかし これには 小さな落とし穴があります

they said, "Absolutely not."

そんな功利主義的な車を 買いますかと聞いてみたところ

(Laughter)

「絶対買わない」 という答えだったのです

They would like to buy cars that protect them at all costs,

(笑)

but they want everybody else to buy cars that minimize harm.

どんな犠牲を払っても 乗る者を 守る車を自分では望んでいますが

(Laughter)

他の人たちには 被害を最小化する車を買って欲しいのです

We've seen this problem before.

(笑)

It's called a social dilemma.

このような問題は 以前にも見たことがあります

And to understand the social dilemma,

社会的ジレンマと 呼ばれる問題です

we have to go a little bit back in history.

社会的ジレンマを 理解するためには

In the 1800s,

少し歴史を遡る 必要があります

English economist William Forster Lloyd published a pamphlet

1800年代に

which describes the following scenario.

イギリスの経済学者 ウィリアム・フォースター・ロイドは

You have a group of farmers --

こんなシナリオが書かれた 小冊子を出版しました

English farmers --

一団の農家がいて—

who are sharing a common land for their sheep to graze.

イギリスの農家です—

Now, if each farmer brings a certain number of sheep --

羊が草を食むための 牧草地を共有しています

let's say three sheep --

それぞれの農家は 同じ数の 羊を連れて来ます—

the land will be rejuvenated,

３頭ずつとしましょう

the farmers are happy,

その場合には 牧草地は回復し

the sheep are happy,

農家はハッピー

everything is good.

羊もハッピーで

Now, if one farmer brings one extra sheep,

万事問題はありません

that farmer will do slightly better, and no one else will be harmed.

農家のうちの１人が １頭余計に連れてきたら

But if every farmer made that individually rational decision,

その農家は少し得をしますが 他の人が損害を受けるわけではありません

the land will be overrun, and it will be depleted

しかし農家の誰もが 同じ 自分に好都合な判断をすると

to the detriment of all the farmers,

牧草が過剰に消費されて 枯渇してしまい

and of course, to the detriment of the sheep.

農家全員にとって 損害となり

We see this problem in many places:

そしてもちろん 羊にとっても損害となります

in the difficulty of managing overfishing,

この問題はいろんなところで 目にします

or in reducing carbon emissions to mitigate climate change.

過剰漁獲を防ぐ難しさとか

When it comes to the regulation of driverless cars,

気候変動を軽減するための 二酸化炭素排出量削減もそうです

the common land now is basically public safety --

自動運転車の規制 ということで言うと

that's the common good --

共有地に当たるのは 公共の基本的な安全です—

and the farmers are the passengers

これは共通の利益です—

or the car owners who are choosing to ride in those cars.

そして農家に当たるのは

And by making the individually rational choice

そういう車に乗ることを選択する 乗員や車の所有者です

of prioritizing their own safety,

自分の安全を優先するという

they may collectively be diminishing the common good,

各自にとって都合の良い選択を みんながすると

which is minimizing total harm.

結果的に 被害の総量を最小化するという 共通の利益が

It's called the tragedy of the commons,

損なわれることになります

traditionally,

この問題は伝統的に

but I think in the case of driverless cars,

「共有地の悲劇」と呼ばれています

the problem may be a little bit more insidious

しかし自動運転車の場合には

because there is not necessarily an individual human being

問題はもう少し 嫌らしいものになります

making those decisions.

そういった判断をするのが

So car manufacturers may simply program cars

必ずしも当人ではないからです

that will maximize safety for their clients,

自動車メーカーは

and those cars may learn automatically on their own

単に顧客の安全を最大化するように 車をプログラムするかもしれません

that doing so requires slightly increasing risk for pedestrians.

そして車は そのためには 歩行者のリスクを多少上げる必要があると

So to use the sheep metaphor,

自分で判断するかもしれません

it's like we now have electric sheep that have a mind of their own.

羊のメタファーを使うなら

(Laughter)

今や自分の考えを持った 電気羊が現れたようなものです

And they may go and graze even if the farmer doesn't know it.

(笑)

So this is what we may call the tragedy of the algorithmic commons,

そして その羊は飼い主の知らぬうちに 勝手に草を食べに行くかもしれません

and if offers new types of challenges.

「アルゴリズム的共有地の悲劇」 とでも呼びましょうか

Typically, traditionally,

これは新たなタイプの問題を 提起します

we solve these types of social dilemmas using regulation,

伝統的には このようなタイプの社会的ジレンマは

so either governments or communities get together,

規制によって 解決されてきました

and they decide collectively what kind of outcome they want

政府ないしは コミュニティが力を合わせ

and what sort of constraints on individual behavior

どのような結果を望むのか

they need to implement.

個々人の行動にどのような制約を 課す必要があるのかを

And then using monitoring and enforcement,

集団的に決めるのです

they can make sure that the public good is preserved.

それから監視と強制力によって

So why don't we just,

公共の利益が 守られるようにします

as regulators,

それでは 被害の最小化を

require that all cars minimize harm?

すべての車の 要件にするよう

After all, this is what people say they want.

規制当局に求めては どうでしょう？

And more importantly,

それが みんなが望むと 言っていることなんですから

I can be sure that as an individual,

さらに大事なのは

if I buy a car that may sacrifice me in a very rare case,

フェアだと確信できることです

I'm not the only sucker doing that

まれに自分を犠牲にするような 車を買うのであれば

while everybody else enjoys unconditional protection.

他のみんなが無条件の保護を 享受している中で

In our survey, we did ask people whether they would support regulation

ただ１人馬鹿を見たくはありません

and here's what we found.

私たちの調査で 規制を支持するか聞いたところ

First of all, people said no to regulation;

こんなことがわかりました

and second, they said,

まず人々は規制に対しては 拒否を示しました

"Well if you regulate cars to do this and to minimize total harm,

そして「そんな風に

I will not buy those cars."

被害の総量を最小化するよう 規制するのであれば

So ironically,

そんな車は買わない」 と言うのです

by regulating cars to minimize harm,

皮肉なことに

we may actually end up with more harm

車を規制して被害を 最小化しようとすると

because people may not opt into the safer technology

被害をもっと大きくすることに なるかもしれません

even if it's much safer than human drivers.

人間のドライバーよりも ずっと安全であっても

I don't have the final answer to this riddle,

そのような技術を人々が 選ばなくなるのですから

but I think as a starting point,

この難問に対する最終的な答えは 持ち合わせていませんが

we need society to come together

どんなトレードオフなら 受け入れるのか

to decide what trade-offs we are comfortable with

そのようなトレードオフを どう強制できるのか

and to come up with ways in which we can enforce those trade-offs.

社会が一緒になって 見出さなければならない時が

As a starting point, my brilliant students,

来ていると思います

Edmond Awad and Sohan Dsouza,

その出発点として

built the Moral Machine website,

私の優秀な教え子たち エドモンド・アワドと ソハン・ドスーザが

which generates random scenarios at you --

『モラル・マシン』という ウェブサイトを作りました

basically a bunch of random dilemmas in a sequence

様々なシナリオを ランダムに生成して

where you have to choose what the car should do in a given scenario.

一連のランダムな ジレンマ状況に対して

And we vary the ages and even the species of the different victims.

車がどうすべきか 選んでもらいます

So far we've collected over five million decisions

被害者の年齢から生物種まで 様々に変えたシナリオがあります

by over one million people worldwide

このウェブサイトを通じて

from the website.

世界の100万人以上の 人たちから

And this is helping us form an early picture

500万以上の決断のデータを 集めました

of what trade-offs people are comfortable with

これは 文化を超えて

and what matters to them --

人々にとって どんなトレードオフなら良く

even across cultures.

何は譲れないのか

But more importantly,

大まかな理解を得る 助けになります

doing this exercise is helping people recognize

さらに大事な点は

the difficulty of making those choices

このようなことを通して

and that the regulators are tasked with impossible choices.

そういう決断がいかに難しいか

And maybe this will help us as a society understand the kinds of trade-offs

当局がいかに無理な選択を迫られているか 人々が認識するようになることです

that will be implemented ultimately in regulation.

そして いつか規制に 盛り込まれるトレードオフを

And indeed, I was very happy to hear

社会が理解する 助けになるかもしれません

that the first set of regulations

実際 喜ばしいことに

that came from the Department of Transport --

先週発表された

announced last week --

運輸省による

included a 15-point checklist for all carmakers to provide,

最初の規制には

and number 14 was ethical consideration --

すべての自動車メーカーが提示すべき 15項目のチェックリストが含まれていて

how are you going to deal with that.

その14番目は 倫理的な考慮—

We also have people reflect on their own decisions

そういう問題にどう対処するか ということでした

by giving them summaries of what they chose.

私たちはまた その人がした選択の 要約を見せることで

I'll give you one example --

自分の決断を振り返るよう 促しています

I'm just going to warn you that this is not your typical example,

ある人の例を お見せしましょう

your typical user.

これは典型例ではない ということを

This is the most sacrificed and the most saved character for this person.

あらかじめ お断りしておきます

(Laughter)

これは この人物によって １番救われた対象(猫)と １番犠牲にされた対象(ベビーカー)です

Some of you may agree with him,

(笑)

or her, we don't know.

皆さんの中には この人に同意する人も

But this person also seems to slightly prefer passengers over pedestrians

いるかもしれません

in their choices

しかしまた この人は歩行者よりも

and is very happy to punish jaywalking.

車の乗員を 優先する傾向があり

(Laughter)

信号を無視して横断する人は 喜んで罰します

So let's wrap up.

(笑)

We started with the question -- let's call it the ethical dilemma --

ではまとめましょう

of what the car should do in a specific scenario:

私たちは 倫理的ジレンマに関する 問いかけから始めました

swerve or stay?

ある特殊な状況で 車はどうすべきか

But then we realized that the problem was a different one.

直進するか 曲がるか

It was the problem of how to get society to agree on and enforce

しかしそれから問うべきことが 別にあることに気付きました

the trade-offs they're comfortable with.

どんなトレードオフなら 受け入れられるものか

It's a social dilemma.

社会で どう合意し どう強制するか という問題です

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

これが社会的ジレンマです

the three laws of robotics.

1940年代にアイザック・アシモフが

A robot may not harm a human being,

有名な「ロボット工学三原則」 というのを作りました

a robot may not disobey a human being,

ロボットは人間に 危害を加えてはならない

and a robot may not allow itself to come to harm --

ロボットは人間に 服従しなければなならない