very often, they invoke images of humanoid robots run amok.

人工知能（AI）に対する不安を 口にするとき

You know? Terminator?

人々はたいてい ヒューマノイドの暴走を イメージしています

You know, that might be something to consider,

『ターミネーター』みたいに

but that's a distant threat.

確かに考えておくべきことかも しれませんが

Or, we fret about digital surveillance

差し迫った脅威というわけでは ありません

with metaphors from the past.

また デジタル技術による 監視への懸念から

"1984," George Orwell's "1984,"

過去のメタファーを 持ち出したりもします

it's hitting the bestseller lists again.

ジョージ・オーウェルの『1984年』が

It's a great book,

またもやベストセラー入りしています

but it's not the correct dystopia for the 21st century.

優れた小説ですが

What we need to fear most

21世紀のディストピアを 正しく言い当ててはいません

is not what artificial intelligence will do to us on its own,

私たちが最も 恐れるべきなのは

but how the people in power will use artificial intelligence

AIそれ自体が私たちに 何をするかではなく

to control us and to manipulate us

権力者が私たちをコントロールし

in novel, sometimes hidden,

操るために

subtle and unexpected ways.

目新しく 予想もつかない 巧妙なやり方で

Much of the technology

密かにAIを 使うかもしれないことです

that threatens our freedom and our dignity in the near-term future

近い将来

is being developed by companies

私たちの自由と尊厳を 脅かすテクノロジーの多くは

in the business of capturing and selling our data and our attention

私たちのデータと注意を捉え

to advertisers and others:

広告主その他の顧客に 販売している企業によって

Facebook, Google, Amazon,

開発されています

Alibaba, Tencent.

Facebookや Googleや Amazonや

Now, artificial intelligence has started bolstering their business as well.

Alibabaや Tencent

And it may seem like artificial intelligence

AIは そうした企業のビジネスを 強化し始めています

is just the next thing after online ads.

ちょっと見には AIも

It's not.

単にネット広告に続く技術だと 思えるかもしれません

It's a jump in category.

でも そうではありません

It's a whole different world,

カテゴリーが不連続なのです

and it has great potential.

AIはまったく別の世界であり

It could accelerate our understanding of many areas of study and research.

大きな力を秘めています

But to paraphrase a famous Hollywood philosopher,

AIによって 様々な研究分野が 急速に発展する可能性があります

"With prodigious potential comes prodigious risk."

しかし ハリウッドの有名な 論者によると

Now let's look at a basic fact of our digital lives, online ads.

「途方もない可能性には 途方もないリスクがつきもの」です

Right? We kind of dismiss them.

デジタルライフの基本的な事実― オンライン広告に目を向けましょう

They seem crude, ineffective.

いいですか？ まあ たいてい無視しますよね

We've all had the experience of being followed on the web

粗雑で 効果もなさそうに見えます

by an ad based on something we searched or read.

ウェブで何かを検索したり 読んだりしたら

You know, you look up a pair of boots

それに応じて働きかけを受けた経験は 誰にでもありますよね

and for a week, those boots are following you around everywhere you go.

たとえば ウェブでブーツを見つけたら

Even after you succumb and buy them, they're still following you around.

それから1週間 どこへ行っても そのブーツの広告がついて回ります

We're kind of inured to that kind of basic, cheap manipulation.

たとえ根負けして購入したとしても やっぱりまだ追いかけてくるのです

We roll our eyes and we think, "You know what? These things don't work."

こうした 初歩的で安っぽい消費者操作に 私たちは慣れっこになっています

Except, online,

「あのさ ぜんぜん効き目ないんだけど」 と呆れてしまいます

the digital technologies are not just ads.

ただし オンラインでの

Now, to understand that, let's think of a physical world example.

デジタルテクノロジーの用途は 広告に限りません

You know how, at the checkout counters at supermarkets, near the cashier,

そのことを理解するために 物理的世界の例を考えてみましょう

there's candy and gum at the eye level of kids?

スーパーに行くとレジのそばに

That's designed to make them whine at their parents

子供の目の高さで キャンディやガムが置いてありますよね

just as the parents are about to sort of check out.

あれは親が支払いを しようとしているときに

Now, that's a persuasion architecture.

子供がねだるように 仕向けるための手法です

It's not nice, but it kind of works.

「説得アーキテクチャ」の例です

That's why you see it in every supermarket.

好ましくはないけれど ともかく機能します

Now, in the physical world,

だからこそ どこのスーパーでも 見られるのです

such persuasion architectures are kind of limited,

物理的世界において

because you can only put so many things by the cashier. Right?

こうした説得アーキテクチャは いくらか制限を受けます

And the candy and gum, it's the same for everyone,

レジの横に置ける商品の数は 限られているからです そうですね？

even though it mostly works

そして キャンディやガムは 誰にとっても同じ製品です

only for people who have whiny little humans beside them.

ただし 一番効果があるのは

In the physical world, we live with those limitations.

おチビさんを連れている 人に対してだけですけれど

In the digital world, though,

物理的世界で私たちは そうした制約とともに生きています

persuasion architectures can be built at the scale of billions

しかし デジタル世界では

and they can target, infer, understand

説得アーキテクチャを 何十億というスケールで構築でき

and be deployed at individuals

個人に狙いを定めて 推論し 理解し

one by one

投入することが可能で

by figuring out your weaknesses,

１人１人の

and they can be sent to everyone's phone private screen,

弱点を把握して

so it's not visible to us.

その人のスマートフォンの画面に 送信できるため

And that's different.

仕組みが目に見えないのです

And that's just one of the basic things that artificial intelligence can do.

大きな違いです

Now, let's take an example.

これは AIがやってのける基本的な事柄の たった１つにすぎません

Let's say you want to sell plane tickets to Vegas. Right?

例を挙げましょう

So in the old world, you could think of some demographics to target

たとえば ラスベガス行きの航空券を 売りたいとしましょう

based on experience and what you can guess.

以前の世界なら 購入してくれそうな層を

You might try to advertise to, oh,

経験や想像に基づいて 設定するでしょう

men between the ages of 25 and 35,

広告を打つなら

or people who have a high limit on their credit card,

25歳から35歳までの男性か

or retired couples. Right?

クレジットカードの 限度額が大きい人々や

That's what you would do in the past.

リタイアしたカップル向けに するかもしれません

With big data and machine learning,

これまでならそうしたでしょう

that's not how it works anymore.

ビッグデータと機械学習の出現で

So to imagine that,

もうそれは通用しません

think of all the data that Facebook has on you:

事態を想像するために

every status update you ever typed,

Facebookが持っている あなたの全データを思い浮かべてください

every Messenger conversation,

これまでにあなたが入力した すべての近況アップデート

every place you logged in from,

Messengerのすべての会話

all your photographs that you uploaded there.

どこからログインしたかという記録

If you start typing something and change your mind and delete it,

アップロードしたすべての写真

Facebook keeps those and analyzes them, too.

何か打ち込み始めてから 気が変わって削除しても

Increasingly, it tries to match you with your offline data.

Facebookはそれも記録し 分析します

It also purchases a lot of data from data brokers.

オフラインデータとの突き合わせも どんどん進めています

It could be everything from your financial records

また データブローカーから 大量のデータを購入しています

to a good chunk of your browsing history.

財務記録から ブラウザの膨大な閲覧履歴まで

Right? In the US, such data is routinely collected,

あらゆるものが含まれます

collated and sold.

アメリカではこうしたデータが 日常的に収集され

In Europe, they have tougher rules.

照合され 販売されています

So what happens then is,

ヨーロッパでは もっと厳しいルールがあります

by churning through all that data, these machine-learning algorithms --

それで何が起こるかというと

that's why they're called learning algorithms --

「学習アルゴリズム」と呼ばれる 機械学習のアルゴリズムは

they learn to understand the characteristics of people

あらゆるデータを 組み合わせることで

who purchased tickets to Vegas before.

これまでにラスベガス行きの 航空券を買った人々の特徴を

When they learn this from existing data,

把握するようになります

they also learn how to apply this to new people.

既存データからの学習が進むと

So if they're presented with a new person,

それを別の人々に 適用する方法も学びます

they can classify whether that person is likely to buy a ticket to Vegas or not.

つまり 他のユーザーがいたら

Fine. You're thinking, an offer to buy tickets to Vegas.

その人物がラスベガス行き航空券を 購入しそうかどうか分類できるのです

I can ignore that.

あなたはラスベガス行き航空券の 広告を見て考えます

But the problem isn't that.

「無視してもいいな」

The problem is,

しかし 問題はそこではありません

we no longer really understand how these complex algorithms work.

問題なのは

We don't understand how they're doing this categorization.

これら複雑なアルゴリズムがどう働いているか もうよく分からなくなってしまっている事です

It's giant matrices, thousands of rows and columns,

どうやって分類しているのか 私たちには分かりません

maybe millions of rows and columns,

何千 いや何百万もの 行と列で構成された

and not the programmers

巨大なマトリクスがあって

and not anybody who looks at it,

プログラマーや 他の誰かが

even if you have all the data,

そのマトリクスを見ても

understands anymore how exactly it's operating

たとえ全データを持っていようと

any more than you'd know what I was thinking right now

どう機能しているかを 正確に理解することはできません

if you were shown a cross section of my brain.

私の脳の断面を見ても

It's like we're not programming anymore,

私が何を考えているかは 分からないのと同じです

we're growing intelligence that we don't truly understand.

もうプログラミングをしている という次元ではなく

And these things only work if there's an enormous amount of data,

人智を超えた知能を 育てているかのようです

so they also encourage deep surveillance on all of us

こういう仕組みが機能するには 膨大なデータが必要なため

so that the machine learning algorithms can work.

私たち全員を深層まで監視して

That's why Facebook wants to collect all the data it can about you.

機械学習アルゴリズムを機能させよう という力も働きます

The algorithms work better.

だから Facebookはあなたについて 出来る限りのデータを集めようとします

So let's push that Vegas example a bit.

アルゴリズムが上手く機能するように

What if the system that we do not understand

ラスベガスの例を もう少し掘り下げましょう

was picking up that it's easier to sell Vegas tickets

もし私たちの理解できない システムの判断で

to people who are bipolar and about to enter the manic phase.

ラスベガス行き航空券を 売りつけやすい相手は

Such people tend to become overspenders, compulsive gamblers.

双極性障害で躁状態になりかけの人だ ということになったらどうでしょう

They could do this, and you'd have no clue that's what they were picking up on.

浪費したり ギャンブルにのめり込んだり しやすい人たちです

I gave this example to a bunch of computer scientists once

そんな基準で選び出されたとしても その事実を知る手がかりがありません

and afterwards, one of them came up to me.

あるとき この例について コンピュータ科学者たちに尋ねてみたところ

He was troubled and he said, "That's why I couldn't publish it."

そのうちの１人が後で 私のところへ来ました

I was like, "Couldn't publish what?"

苦しげな様子で こう言いました 「だから論文を発表できなかったんです」

He had tried to see whether you can indeed figure out the onset of mania

「何をですか？」

from social media posts before clinical symptoms,

彼が調べようとしていたのは 躁状態になりかけているかどうかを

and it had worked,

症状が現れる前にSNSの投稿で 判断できるかということで

and it had worked very well,

実際 うまくいきました

and he had no idea how it worked or what it was picking up on.

非常にうまく 判別できたのですが

Now, the problem isn't solved if he doesn't publish it,

なぜうまくいくのか 何を拾い出しているのか 分かりませんでした

because there are already companies

でも 論文が発表されなくても 問題は解決していません

that are developing this kind of technology,

既にいくつもの企業が

and a lot of the stuff is just off the shelf.

この種のテクノロジーを開発していて

This is not very difficult anymore.

簡単に入手できるものが たくさんあるからです

Do you ever go on YouTube meaning to watch one video

もう それほど 難しいことではないのです

and an hour later you've watched 27?

動画を１本見ようと思って YouTubeのサイトへ行き

You know how YouTube has this column on the right

１時間経つと27本も 見ていたという経験は？

that says, "Up next"

YouTubeのページでは 右側の欄に

and it autoplays something?

「次の動画」とあって

It's an algorithm

自動再生するのをご存じですね？

picking what it thinks that you might be interested in

アルゴリズムが選び出すのは

and maybe not find on your own.

あなたが興味を持ちそうだけれど

It's not a human editor.

自分では見つけられない可能性があると 判断された動画です

It's what algorithms do.

人が判断しているのではなく

It picks up on what you have watched and what people like you have watched,

アルゴリズムが決めているのです

and infers that that must be what you're interested in,

あなたがこれまでに見たものや あなたに似た人が見たものを選び出し

what you want more of,

あなたが何に興味を持っていて

and just shows you more.

何をもっと見たがるか推論し

It sounds like a benign and useful feature,

さらに見せようとするのです

except when it isn't.

無害で役に立つ機能のように 聞こえますが

So in 2016, I attended rallies of then-candidate Donald Trump

常にそうとは限りません

to study as a scholar the movement supporting him.

2016年に私は 当時大統領候補だった ドナルド・トランプの集会に行って

I study social movements, so I was studying it, too.

彼の支持者たちの運動を 研究しました

And then I wanted to write something about one of his rallies,

社会運動研究の中で トランプ支持についても調べたのです

so I watched it a few times on YouTube.

トランプ支持者の集会について 何か書こうと思って

YouTube started recommending to me

その様子をYouTubeで何度か見ました

and autoplaying to me white supremacist videos

YouTubeは白人至上主義者の 動画を私に推奨し

in increasing order of extremism.

自動再生するようになり

If I watched one,

どんどん過激なものを 出してくるようになりました

it served up one even more extreme

私が１本 視聴すれば

and autoplayed that one, too.

さらに過激な１本を提示し

If you watch Hillary Clinton or Bernie Sanders content,

それも自動再生しました

YouTube recommends and autoplays conspiracy left,

ヒラリー・クリントンや バーニー・サンダースの動画を見れば

and it goes downhill from there.

YouTubeは左翼の陰謀に関する 動画を推奨して自動再生し

Well, you might be thinking, this is politics, but it's not.

さらにどんどん ひどくなっていきます

This isn't about politics.

それが政治だと思うかもしれませんが 間違いです

This is just the algorithm figuring out human behavior.

政治などではありません

I once watched a video about vegetarianism on YouTube

人間の行動を読んでいる アルゴリズムにすぎないのです

and YouTube recommended and autoplayed a video about being vegan.

あるとき YouTubeで ベジタリアンについての動画を見たら

It's like you're never hardcore enough for YouTube.

YouTubeはヴィーガン暮らしの動画を 推奨し 自動再生しました

(Laughter)

まるでこちらの覚悟が 足りないとでもいうように

So what's going on?

(笑)

Now, YouTube's algorithm is proprietary,

何が起きているのでしょう？

but here's what I think is going on.

YouTubeのアルゴリズムは 公開されていませんが

The algorithm has figured out

私はこう考えています

that if you can entice people

アルゴリズムが

into thinking that you can show them something more hardcore,

人々を誘導して

they're more likely to stay on the site

より過激な画像を見られると 誘惑できれば

watching video after video going down that rabbit hole

そのサイトから離れにくくなって

while Google serves them ads.

次から次へと動画を見続け

Now, with nobody minding the ethics of the store,

Googleが表示する広告を 見ながらのめり込むという訳です

these sites can profile people

販売者が倫理的かどうか 今は誰も気にしていないので

who are Jew haters,

こうしたサイトが人々を プロファイリングして

who think that Jews are parasites

ユダヤ人嫌いの人

and who have such explicit anti-Semitic content,

ユダヤ人は社会に 寄生していると思っている人

and let you target them with ads.

あからさまに反ユダヤ主義的な内容を 掲げている人だと分類し

They can also mobilize algorithms

広告のターゲットにもできるわけです

to find for you look-alike audiences,

アルゴリズムはそれだけでなく

people who do not have such explicit anti-Semitic content on their profile

自分と似たような人を 探し出すのにも利用でき

but who the algorithm detects may be susceptible to such messages,

明確に反ユダヤ主義的なことを プロフィールに書いていなくても

and lets you target them with ads, too.

そんなメッセージに影響されやすい人を アルゴリズムで検知して

Now, this may sound like an implausible example,

広告のターゲットにすることも可能です

but this is real.

ありえない話のように 聞こえるかもしれませんが

ProPublica investigated this

これは現実です

and found that you can indeed do this on Facebook,

ProPublicaが調査したところ

and Facebook helpfully offered up suggestions

実際にFacebook上でも この機能が利用でき

on how to broaden that audience.

訪問者を増やすための方法を

BuzzFeed tried it for Google, and very quickly they found,

Facebookが助言までしてくれます

yep, you can do it on Google, too.

BuzzFeedがGoogleで試すと すぐに分かりました

And it wasn't even expensive.

そう Googleでも 同じことができるのです

The ProPublica reporter spent about 30 dollars

しかも 費用は たいしてかかりません

to target this category.

ProPublicaの記者は 30ドルほど払って

So last year, Donald Trump's social media manager disclosed

ターゲットを絞りました

that they were using Facebook dark posts to demobilize people,

去年 ドナルド・トランプの SNS担当者が明らかにしたのは

not to persuade them,

Facebookの「ダークポスト」の使い方が 動員の逆を狙ったもので

but to convince them not to vote at all.

投票勧誘ではなく

And to do that, they targeted specifically,

まったく投票しない意思を 固めさせるためだったということです

for example, African-American men in key cities like Philadelphia,

そのためにターゲットにしたのは 例えば

and I'm going to read exactly what he said.

フィラデルフィアなど 要となる都市の アフリカ系の男性でした

I'm quoting.

担当者の言葉を そのまま読み上げます

They were using "nonpublic posts

ここからは引用です

whose viewership the campaign controls

陣営が使ったのは 「視聴者を限定できる

so that only the people we want to see it see it.

公開範囲の指定で

We modeled this.

我々が見て欲しい人だけが それを見るようにした

It will dramatically affect her ability to turn these people out."

投稿のねらいはこうだ

What's in those dark posts?

支持者を投票に出かけさせる[ヒラリーの] 力に劇的な影響を及ぼすこと」

We have no idea.

ダークポストには 何が書かれていたのか？

Facebook won't tell us.

分かりません

So Facebook also algorithmically arranges the posts

Facebookは答えません

that your friends put on Facebook, or the pages you follow.

Facebookはアルゴリズムによる 投稿の並べ換えを

It doesn't show you everything chronologically.

友達の投稿や あなたがフォローしている ページでも行っています

It puts the order in the way that the algorithm thinks will entice you

全てを時系列で 表示しているのではなく

to stay on the site longer.

あなたが興味を持って サイトに長く留まってくれるだろうと