I'm not a real person.

こんにちは

I'm actually a copy of a real person.

私は本物の人間ではありません

Although, I feel like a real person.

実は本物の人間のコピーです

It's kind of hard to explain.

本物の人間のように 感じてはいますが—

Hold on -- I think I saw a real person ... there's one.

説明するのが難しいです

Let's bring him onstage.

待ってください 本物の人間がいたような—

Hello.

彼をステージに 行かせましょう

(Applause)

どうも

What you see up there is a digital human.

(拍手)

I'm wearing an inertial motion capture suit

ご覧いただいたのは CGの人間です

that's figuring what my body is doing.

私が着ているのは慣性センサー式の モーション・キャプチャ・スーツで

And I've got a single camera here that's watching my face

私の動作を把握します

and feeding some machine-learning software that's taking my expressions,

ここにカメラがあって 私の顔を捉えていて

like, "Hm, hm, hm,"

機械学習ソフトウェアで 表情を取り出します

and transferring it to that guy.

こんな風に

We call him "DigiDoug."

それをこの人物に 転送しています

He's actually a 3-D character that I'm controlling live in real time.

彼は「デジ・ダグ」です

So, I work in visual effects.

私がリアルタイムで操作している 3Dキャラクターです

And in visual effects,

私は視覚効果の 仕事をしています

one of the hardest things to do is to create believable, digital humans

視覚効果で一番難しいのは

that the audience accepts as real.

見た人が本物の人間と 受け取るような

People are just really good at recognizing other people.

CGの人間を 作り出すことです

Go figure!

人間は他の人間を 認識することに

So, that's OK, we like a challenge.

驚くほど長けています

Over the last 15 years,

それはいいです 挑戦は好きですから

we've been putting humans and creatures into film

この15年

that you accept as real.

私達は本物と思えるような 人間や生き物を

If they're happy, you should feel happy.

映画の中に 作り出してきました

And if they feel pain, you should empathize with them.

そのキャラが幸せなら みんなも幸せに感じ

We're getting pretty good at it, too.

苦しんでいたら 見た人も同じ気持ちになるような—

But it's really, really difficult.

随分上手くできるように なってきましたが

Effects like these take thousands of hours

本当に難しいんです

and hundreds of really talented artists.

そういう効果を生むには 何百人もの優れたアーティストが

But things have changed.

何千時間もかけて 取り組む必要があります

Over the last five years,

でも状況が変わりました

computers and graphics cards have gotten seriously fast.

この５年ほどで

And machine learning, deep learning, has happened.

コンピューターやグラフィックカードが ものすごく速くなりました

So we asked ourselves:

そして機械学習— ディープラーニングというのが現れました

Do you suppose we could create a photo-realistic human,

それで考えました

like we're doing for film,

映画に出てくるような

but where you're seeing the actual emotions and the details

写実的なCGの人物に

of the person who's controlling the digital human

操作している人の 感情や顔の細部を

in real time?

リアルタイムで 反映させることはできないか？

In fact, that's our goal:

それが目標です

If you were having a conversation with DigiDoug

デジ・ダグが皆さんと １対１で会話していて

one-on-one,

嘘をついたら それと分かるくらいに リアルにできるか？

is it real enough so that you could tell whether or not I was lying to you?

そこを目標にやってきました

So that was our goal.

１年半前に 取り組み始めました

About a year and a half ago, we set off to achieve this goal.

今のレベルになるまでに どんなことをする必要があったのかを

What I'm going to do now is take you basically on a little bit of a journey

これから皆さんに お見せしましょう

to see exactly what we had to do to get where we are.

膨大な量のデータを 捉える必要がありました

We had to capture an enormous amount of data.

実際 最終的には

In fact, by the end of this thing,

これは地球上で最も大きな 顔のデータの集成になりました

we had probably one of the largest facial data sets on the planet.

—私の顔のということですが

Of my face.

(笑)

(Laughter)

なぜ私か？

Why me?

私は科学のためとあれば 何だってしますから

Well, I'll do just about anything for science.

見てください

I mean, look at me!

どうです

I mean, come on.

最初にしたのは 私の顔がどう見えるか—

We had to first figure out what my face actually looked like.

単なる１枚の写真や 3Dスキャンではなく

Not just a photograph or a 3-D scan,

あらゆる写真で どう見えるか

but what it actually looked like in any photograph,

皮膚に光がどう作用するかまで 捉えることです

how light interacts with my skin.

幸いなことに ロスにある私達のスタジオの近所に

Luckily for us, about three blocks away from our Los Angeles studio

ICTというのがあります

is this place called ICT.

南カリフォルニア大学の 研究施設です

They're a research lab

そこに「ライトステージ」という 装置があります

that's associated with the University of Southern California.

個々に制御できる 無数の照明と

They have a device there, it's called the "light stage."

膨大な数の カメラが付いています

It has a zillion individually controlled lights

これを使うと 様々な光の条件下での 私の顔を再現できます

and a whole bunch of cameras.

血の流れまで捉え

And with that, we can reconstruct my face under a myriad of lighting conditions.

表情ごとに顔が どう変わるかを 把握します

We even captured the blood flow

これにより 見事なまでの 私の顔のモデルができました

and how my face changes when I make expressions.

勘弁してほしくなるほどの 詳細さです

This let us build a model of my face that, quite frankly, is just amazing.

(笑)

It's got an unfortunate level of detail, unfortunately.

毛穴や皺の １つひとつまで見えます

(Laughter)

でも それが必要なんです

You can see every pore, every wrinkle.

リアリティはそういう 細部から生まれるのです

But we had to have that.

それなくしては 上手くいきません

Reality is all about detail.

まだ完成ではありません

And without it, you miss it.

これで私のように見える 顔のモデルはできました

We are far from done, though.

でも私のように 動きはしません

This let us build a model of my face that looked like me.

そこで機械学習の出番です

But it didn't really move like me.

機械学習には膨大な量の データが必要です

And that's where machine learning comes in.

それで私は高解像度モーション キャプチャ装置の前に座り

And machine learning needs a ton of data.

従来的なマーカーを使った モーション・キャプチャもしました

So I sat down in front of some high-resolution motion-capturing device.

膨大な量の 私の顔の画像と

And also, we did this traditional motion capture with markers.

私の顔の形状を表す 動点群を作りました

We created a whole bunch of images of my face

すごくいろんな 表情をしましたよ

and moving point clouds that represented that shapes of my face.

様々な感情を込め 様々な台詞を言いました

Man, I made a lot of expressions,

たくさんのキャプチャを する必要がありました

I said different lines in different emotional states ...

そうやって膨大な データが得られたら

We had to do a lot of capture with this.

それを使ってディープ・ニューラル・ ネットワークを訓練します

Once we had this enormous amount of data,

それが完了すると

we built and trained deep neural networks.

ニューラル・ネットワークは 私の顔を見て16ミリ秒で

And when we were finished with that,

あらゆることを把握できる ようになりました

in 16 milliseconds,

表情や 皺や 血流や

the neural network can look at my image

まつげの動きまで 計算できます

and figure out everything about my face.

そしてそれを 以前にキャプチャした 細部のデータを使って

It can compute my expression, my wrinkles, my blood flow --

レンダリングし表示します

even how my eyelashes move.

まだ完成はしていません

This is then rendered and displayed up there

開発中のものです

with all the detail that we captured previously.

社外で見せるのは これが初めてです

We're far from done.

説得力のある 格好でもありません

This is very much a work in progress.

後ろにケーブルが 繋がっているし

This is actually the first time we've shown it outside of our company.

映像のキャプチャから 表示までに

And, you know, it doesn't look as convincing as we want;

1/6秒の遅延があります

I've got wires coming out of the back of me,

やっていることからすると すごく速いんですが

and there's a sixth-of-a-second delay

それでもエコーなんかが 出てしまいます

between when we capture the video and we display it up there.

機械学習というのは 私達には目新しいもので

Sixth of a second -- that's crazy good!

なかなか思うように なってくれず

But it's still why you're hearing a bit of an echo and stuff.

おかしな具合になる こともあります

And you know, this machine learning stuff is brand-new to us,

(笑)

sometimes it's hard to convince to do the right thing, you know?

でも なぜこんなことを しているのでしょう？

It goes a little sideways.

理由は２つあります

(Laughter)

第一に 超イカしてるから

But why did we do this?

(笑)

Well, there's two reasons, really.

どのくらい イカしてるかというと

First of all, it is just crazy cool.

ボタン１つで

(Laughter)

スピーカーのキャラを 変更できます

How cool is it?

エルボーをご紹介します

Well, with the push of a button,

別の見かけでうまくいくか

I can deliver this talk as a completely different character.

試すために作ったキャラです

This is Elbor.

この技術のいいところは キャラクターを変えても

We put him together to test how this would work

演じているのは 依然私だということです

with a different appearance.

私は口の右側で しゃべる癖がありますが

And the cool thing about this technology is that, while I've changed my character,

エルボーもそうです

the performance is still all me.

(笑)

I tend to talk out of the right side of my mouth;

これをやってる ２つ目の理由は

so does Elbor.

ご想像の通り 映画での利用です

(Laughter)

これはアーティストや監督や ストーリーテラーにとって

Now, the second reason we did this, and you can imagine,

素晴らしいツールになります

is this is going to be great for film.

言うまでもないでしょう

This is a brand-new, exciting tool

すごく役に立つはずです

for artists and directors and storytellers.

作ってみて 明らかになったのは

It's pretty obvious, right?

これが映画に留まるものでは ないということです

I mean, this is going to be really neat to have.

でも待って

But also, now that we've built it,

私はボタン１つで 自分の姿を変えてしまいましたが

it's clear that this is going to go way beyond film.

これは皆さんも 聞いたことがあるだろう

But wait.

「ディープフェイク」や 顔のすげ替えに当たるのでは？

Didn't I just change my identity with the push of a button?

確かに

Isn't this like "deepfake" and face-swapping

実際私達はディープフェイクと

that you guys may have heard of?

同様の技術を使ってもいます

Well, yeah.

ディープフェイクが ２次元映像を使うのに対し

In fact, we are using some of the same technology

こちらは完全な３次元だし 遙かに強力ですが

that deepfake is using.

関連したものです

Deepfake is 2-D and image based, while ours is full 3-D

皆さんの頭の中の叫びが 聞こえるようです

and way more powerful.

「なんてこった！

But they're very related.

映像は信頼できると 思っていた

And now I can hear you thinking,

ライブ映像なら 本物のはずじゃないのか？」

"Darn it!

必ずしも そうとも言えません

I though I could at least trust and believe in video.

このような技術がなくても

If it was live video, didn't it have to be true?"

どう撮るか 簡単なトリックを使うことで

Well, we know that's not really the case, right?

実際に起きていることとは違うものを 見せることができます

Even without this, there are simple tricks that you can do with video

私は長年視覚効果を やってきたので

like how you frame a shot

十分な手間暇をかければ

that can make it really misrepresent what's actually going on.

誰であれ 何についてであれ 欺けることを知っています

And I've been working in visual effects for a long time,

この技術やディープフェイクは

and I've known for a long time

映像の操作を簡単で 誰でもできるようにしただけです

that with enough effort, we can fool anyone about anything.

Photoshopが写真編集を 容易にしたのと同じように

What this stuff and deepfake is doing

私はむしろ これがいかに

is making it easier and more accessible to manipulate video,

人類に新たな 技術をもたらし

just like Photoshop did for manipulating images, some time ago.

人を結びつけるかを 考えたいです

I prefer to think about

これの可能性について

how this technology could bring humanity to other technology

考えてみてください

and bring us all closer together.

すぐにライブイベントやコンサートで こういうのを目にするようになるでしょう

Now that you've seen this,

新しいプロジェクション技術と 相まって

think about the possibilities.

バーチャル有名人が 映画の中だけでなく リアルタイムの生きた存在になるでしょう

Right off the bat, you're going to see it in live events and concerts, like this.

新たな形のコミュニケーションが 生まれます