Let's say at some point in the not-so-distant future, you're barreling down the highway in your self-driving car, and you find yourself boxed in on all sides by other cars.

例えば、そう遠くない未来、自動運転車で高速道路を走っていると、四方を他の車に囲まれることになったとします。

Suddenly, a large, heavy object falls off the truck in front of you.

突然、目の前のトラックから大きな重いものが落ちてきました。

Your car can't stop in time to avoid the collision, so it needs to make a decision: go straight and hit the object, swerve left into an SUV, or swerve right into a motorcycle?

直進してぶつかるか、左に曲がってSUVにぶつかるか、右に曲がってバイクにぶつかるか、決断しなければなりません。

Should it prioritize your safety by hitting the motorcycle, minimize danger to others by not swerving, even if it means hitting the large object and sacrificing your life, or take the middle ground by hitting the SUV, which has a high passenger safety rating?

自分の安全を優先してバイクにぶつかるか、大きな障害物にぶつかって自分の命を犠牲にしてでもハンドルを切らずに他の人の危険を最小限にするか、それとも乗員安全性能の高いSUVにぶつかって中間の道を選ぶか？

So what should the self-driving car do?

では、自動運転車はどうすればいいのでしょうか？

If we were driving that boxed in car in manual mode, whichever way we'd react would be understood as just that, a reaction, not a deliberate decision.

もし、私たちがあの箱入りの車をマニュアルで運転していたら、どのような反応をしようとも、それは単なる反応であって、意図的な決定ではないと理解されるでしょう。

It would be an instinctual panicked move with no forethought or malice.

それは、何の考えも悪意もない、本能的なパニックの動きでしょう。

But if a programmer were to instruct the car to make the same move, given conditions it may sense in the future, well, that looks more like premeditated homicide.

しかし、もしプログラマーが、将来起こりうる状況を想定して、同じ動きをするようにクルマに指示を出したとしたら、それは計画的な殺人にしか見えません。

Now, to be fair, self-driving cars are are predicted to dramatically reduce traffic accidents and fatalities by removing human error from the driving equation.

さて、公正を期すために、自動運転車は、運転方程式からヒューマンエラーを取り除くことによって、交通事故や死亡事故を劇的に減らすと予測されています。

Plus, there may be all sorts of other benefits: eased road congestion, decreased harmful emissions, and minimized unproductive and stressful driving time.

さらに、道路渋滞の緩和、有害排出ガスの減少、非生産的でストレスの多い運転時間の短縮など、さまざまな効果が期待できます。

But accidents can and will still happen, and when they do, their outcomes may be determined months or years in advance by programmers or policy makers.

しかし、事故は起こりうるし、これからも起こるでしょう。事故が起こったとき、その結果はプログラマーや政策立案者によって何ヶ月も何年も前に決定されるかもしれません。

And they'll have some difficult decisions to make.

そして、彼らは難しい決断を迫られることになるでしょう。

It's tempting to offer up general decision-making principles, like minimize harm, but even that quickly leads to morally murky decisions.

害を最小限にする、といった一般的な意思決定の原則を提示したいところですが、それすらもすぐに道徳的に不透明な判断につながります。

For example, let's say we have the same initial set up, but now there's a motorcyclist wearing a helmet to your left and another one without a helmet to your right.

例えば、最初の設定は同じですが、左側にヘルメットをかぶったバイク、右側にヘルメットをかぶっていないバイクがいたとします。

Which one should your robot car crash into?

あなたのロボットカーは、どちらにぶつかるべきでしょうか？

If you say the biker with the helmet because she's more likely to survive, then aren't you penalizing the responsible motorist?

ヘルメットをかぶった方が助かるからということであれば、責任ある運転手にもペナルティを課すことになるのではありませんか？

If, instead, you say the biker without the helmet because he's acting irresponsibly, then you've gone way beyond the initial design principle about minimizing harm, and the robot car is now meting out street justice.

その代わりに、ヘルメットをかぶっていないバイクが無責任だと言うのなら、被害を最小限に抑えるという最初の設計原則をはるかに超えて、ロボットカーが路上で正義の鉄槌を下していることになるのです。

The ethical considerations get more complicated here.

ここで倫理的な配慮をすると、もっと複雑なことになります。

In both of our scenarios, the underlying design is functioning as a targeting algorithm of sorts.

どちらのシナリオでも、基本設計は一種のターゲティングアルゴリズムとして機能しています。

In other words, it's systematically favoring or discriminating against a certain type of object to crash into.

つまり、衝突する対象を組織的に有利にしたり、差別したりしているのです。

And the owners of the target vehicles will suffer the negative consequences of this algorithm through no fault of their own.

そして、対象となる車のオーナーは、自分たちのせいでもないのに、このアルゴリズムの悪影響に悩まされることになるのです。

Our new technologies are opening up many other novel ethical dilemmas.

私たちの新しいテクノロジーは、他にも多くの新しい倫理的ジレンマを引き起こしています。

For instance, if you had to choose between a car that would always save as many lives as possible in an accident, or one that would save you at any cost, which would you buy?

例えば、事故の時に必ず一人でも多くの命を救う車と、何が何でも自分を救う車、どちらかを選ばなければならないとしたら、あなたはどちらを買いますか？

What happens if the cars start analyzing and factoring in the passengers of the cars and the particulars of their lives?

もし、クルマがクルマの乗客や彼らの人生の特殊性を分析し、考慮し始めたらどうなるでしょう？

Could it be the case that a random decision is still better than a predetermined one designed to minimize harm?

害を最小化するようにあらかじめ決められたものよりも、ランダムな判断の方がまだましだということはないのでしょうか？

And who should be making all of these decisions anyhow?

そして、これらの判断は誰が行うべきなのでしょうか？

Programmers? Companies? Governments?

プログラマー？企業？政府？

Reality may not play out exactly like our thought experiments, but that's not the point.

現実は、私たちの思考実験のようにはいかないかもしれませんが、それは問題ではありません。

They're designed to isolate and stress test our intuitions on ethics, just like science experiments do for the physical world.

倫理に関する直感を分離し、ストレステストをするために設計されたもので、物理世界の科学実験と同じです。

Spotting these moral hairpin turns now will help us maneuver the unfamiliar road of technology ethics, and allow us to cruise confidently and conscientiously into our brave new future.

このようなモラルのヘアピンカーブを今見つけることができれば、テクノロジー倫理という不慣れな道をうまく操ることができ、勇敢な新しい未来に自信を持って良心的に航海することができるようになるのです。