Let's say at some point in the not so distant future,

そう遠くない将来

you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars.

自動運転車に乗って 幹線道路を高速で走っていると

Suddenly, a large, heavy object falls off the truck in front of you.

周囲を囲まれた 状態になりました

Your car can't stop in time to avoid the collision,

突然 前を走るトラックの荷台から 重い大きな荷物が崩れ落ちてきました

so it needs to make a decision:

ブレーキを踏んでも 衝突を避けられません

go straight and hit the object,

とっさに判断する 必要があります

swerve left into an SUV,

まっすぐ進んで 荷物に突っ込むか

or swerve right into a motorcycle.

左によけて SUVにぶつかるか

Should it prioritize your safety by hitting the motorcycle,

右によけて バイクにぶつかるかです

minimize danger to others by not swerving,

自分の安全を最優先して バイクにぶつけるべきか

even if it means hitting the large object and sacrificing your life,

たとえそれが 大きな物への衝突で 自分の命を犠牲にすることになろうと

or take the middle ground by hitting the SUV,

人様の安全を優先して よけずに直進すべきか

which has a high passenger safety rating?

中間を取って

So what should the self-driving car do?

乗員の安全性が高い SUVにぶつけるべきか

If we were driving that boxed in car in manual mode,

自動運転車はどれを 選択すべきでしょう？

whichever way we'd react would be understood as just that, a reaction,

このような状況下で 人が車を手動で運転していたなら

not a deliberate decision.

いずれの反応をしたとしても

It would be an instinctual panicked move with no forethought or malice.

熟慮の上の決定ではなく

But if a programmer were to instruct the car to make the same move,

単なる反射的行動として 受け取られるでしょう

given conditions it may sense in the future,

パニック状態での本能的行動であって 計画性や悪意はなかったと

well, that looks more like premeditated homicide.

しかし その同じ行動が もしプログラマーによって

Now, to be fair,

将来起こりうる状況への反応として あらかじめ車に組み込まれていたとしたら

self-driving cars are are predicted to dramatically reduce traffic accidents and fatalities

それはむしろ計画的殺人のように 見えてきます

by removing human error from the driving equation.

公平を期して言うと

Plus, there may be all sorts of other benefits:

自動運転車は運転から 人的なミスを取り除くことで

eased road congestion,

交通事故や死者の数を

decreased harmful emissions,

劇的に減らすと 予想されており

and minimized unproductive and stressful driving time.

その他にも様々な 利点があります

But accidents can and will still happen, and when they do,

道路の混雑を緩和し

their outcomes may be determined months or years in advance by programmers or policy makers.

有害ガス排出量を減らし

And they'll have some difficult decisions to make.

非生産的でストレスのある運転を 人間がする時間を最小限にできます

It's tempting to offer up general decision-making principles,

しかしそれでも 事故は起こり得

like minimize harm,

事故が起こった時 その帰結は

but even that quickly leads to morally murky decisions.

何ヶ月も あるいは何年も前から プログラマーや政策立案者によって

For example, let's say we have the same initial set up,

定められていたものだった かもしれないのです

but now there's a motorcyclist wearing a helmet to your left

そして中には 難しい決断もあるはずです

and another one without a helmet to your right.

基本的には 「被害の最小化」のような

Which one should your robot car crash into?

一般原則に基づいて 決められるかもしれませんが

If you say the biker with the helmet because she's more likely to survive,

それでも倫理的に不透明な決断を 迫られる状況は出てくるでしょう

then aren't you penalizing the responsible motorist?

たとえば

If, instead, you say the biker without the helmet

前と同様の状況にあったとして

because he's acting irresponsibly,

ただし今回は左には ヘルメット着用のバイク

then you've gone way beyond the initial design principle about minimizing harm,

右にはヘルメットを被っていない バイクがいたとします

and the robot car is now meting out street justice.

自動運転車はどちらに ハンドルを切るべきでしょう？

The ethical considerations get more complicated here.

ヘルメット着用の方が生存率が高いからと そちらにぶつけるとしたら

In both of our scenarios,

ルールを守っている人を罰することに ならないでしょうか？

the underlying design is functioning as a targeting algorithm of sorts.

一方 ルールを守っていない

In other words,

ヘルメット未着用の バイクにぶつけるとしたら

it's systematically favoring or discriminating against a certain type of object to crash into.

被害の最小化という設計原則から はずれることになります

And the owners of the target vehicles

そして路上において何が公正かの判断が ロボットカーに任せられることになるのです

will suffer the negative consequences of this algorithm through no fault of their own.

倫理的な考慮は さらに複雑なものになり得ます

Our new technologies are opening up many other novel ethical dilemmas.

いずれのシナリオでも

For instance, if you had to choose between

設計方針は目標選択アルゴリズムとして 機能しています

a car that would always save as many lives as possible in an accident,

言い換えると

or one that would save you at any cost,

衝突する対象物の種類として 何を選好するか

which would you buy?

システム的に選んでいる ということです

What happens if the cars start analyzing and factoring in

そして標的にされた乗り物に 乗っている人は

the passengers of the cars and the particulars of their lives?

自らには過誤がない にもかかわらず

Could it be the case that a random decision

アルゴリズムの選択による負の結果を 引き受けることになります

is still better than a predetermined one designed to minimize harm?

この新技術は その他にも新たな種類の 倫理的ジレンマをたくさん生み出します

And who should be making all of these decisions anyhow?

たとえば 事故において 可能な限り多くの命を救おうとする車と

Programmers? Companies? Governments?

乗っている人の安全を 何よりも優先する車の

Reality may not play out exactly like our thought experiments,

どちらかを選ばなければ ならないとしたら

but that's not the point.

どちらを買いますか？

They're designed to isolate and stress test our intuitions on ethics,

もし車が 乗っている人が誰で どのような事情があるか

just like science experiments do for the physical world.

分析し考慮に入れるようになったとしたら どうなるでしょう？

Spotting these moral hairpin turns now

被害を最小化すべく 前もって設計された判断より

will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.

その場におけるとっさの判断の方が 良いという場合はあるのでしょうか？