It is just blowing the doors wide open on opportunities for new ways to tell stories.

新しいストーリーの可能性が大きく広がっています。

This is a good technology to hang our hat on because it is getting so much better.

これだけ良くなっているのだから、この技術には脱帽です。

Every single year.

毎年、毎年。

Machine learning is being baked into workflows helping create previously unimaginable moments from big blockbusters to nonfiction tv I think where Ai really is impactful is getting it to do things that human beings can't do, including raising the dead as if you know you have Andy Warhol standing in the studio right in front of you and you looked at him and said I want you to say it like like this.

機械学習はワークフローに組み込まれ、大ヒット映画からノンフィクション番組まで、これまで想像もできなかったような瞬間を作り出すのに役立っています。Aiが本当にインパクトを与えるのは、人間にはできないことをさせることだと思います。

I wasn't very close to anyone although I guess I wanted to be, let's examine a few specific use cases of how Ai is changing Hollywood's creative workflow.

ここでは、Aiがハリウッドのクリエイティブワークフローをどのように変えているか、具体的な使用例をいくつか見てみましょう。

The entertainment industry was spawned by new technology.

エンターテインメント産業は、新しい技術によって生み出された。

So it makes sense that from talkies to television to digital video, Hollywood has a history of leveraging new tech, especially in the world of visual effects.

トーキーからテレビ、デジタルビデオに至るまで、ハリウッドが新しい技術、特に視覚効果の世界で活用してきた歴史は理にかなっています。

When I saw Jurassic park.

ジュラシックパークを見たとき

That was the moment that I realized that computer graphics would change the face of storytelling forever.

コンピュータグラフィックスが物語のあり方を一変させることを実感した瞬間でした。

In the last 25 years that I've been working in film, we've been conquering various challenges doing digital water for the first time in titanic, doing digital faces for the first time in a movie like Benjamin button and now the state of the art is machine learning Ai applications like the kind matt's company maRS develops in house, You can throw it, you know, infinite amount of data and it will find the patterns in that data naturally.

私が映画の世界で働いてきたこの25年間、私たちは様々な難題を克服してきました。『タイタニック』で初めて水のデジタル処理を行い、『ベンジャミン・ボタン』のような映画で初めて顔のデジタル処理を行いました。

Thanks to thirsty streaming services.

渇いたストリーミングサービスに感謝します。

Hollywood is scrambling to feed demand for premium content rich and visual effects.

ハリウッドは、プレミアムコンテンツやビジュアルエフェクトの需要を満たすために、躍起になっています。

Budgets time are not growing in a way that corresponds to to those rising quality expectations.

このような品質に対する期待の高まりに対応するように、予算は伸びていない。

It's outpacing the number of artists that are available to do the work and that's where Ai comes in tackling time consuming uncreative tasks like Denoix, zing, rotoscoping and motion capture tracking removal.

そのため、Denoix、Zing、ロトスコープ、モーションキャプチャーのトラッキング除去など、時間のかかる非クリエイティブな作業に取り組むAiの出番となります。

This was our first time ever trying AI in a production, we had a lot of footage just by virtue of being on the project and doing 400 shots per marvel.

今回、初めてAIに挑戦したのですが、プロジェクトに参加しているだけで大量の映像があり、1マーブルあたり400ショットをこなしていました。

When we received the footage which we call the plates in order to manipulate paul.

ポールを操るためにプレートと呼んでいる映像を受け取ったとき。

Bettany is face.

ベタニーは顔。

There needed to be tracking markers During principal photography we looked at it we said, okay, well removing tracking markers is going to take roughly one day per shot in order to replace or partially replace vision's head for each shot and the shot is typically defined as about five seconds of footage.

プリンシパル撮影の際、トラッキングマーカーが必要であることを確認し、トラッキングマーカーを取り除くには、各ショットごとにビジョンの頭を置き換えたり、部分的に置き換えたりするために、1ショットあたりおよそ1日かかるだろうと考えました。

The tracking marker removal itself was about 1/10 of that.

トラッキングマーカー除去そのものは、その1/10程度でした。

So on a 10 day shot, one day was simply removing tracking markers, developed a neural net where we are able to identify the dots on the face of the artificial intelligence averaged out the skin texture around the dot remove the dot and then in filled with the average of the texture surrounding it.

10日間の撮影のうち、1日はトラッキングマーカーを取り除くだけでしたが、ニューラルネットワークを開発し、人工知能が顔のドットを識別できるようにしました。ドットの周りの肌の質感を平均化し、ドットを取り除き、その周りの質感の平均で埋めました。

And marvel loved it because it sped up production.

そして、そのおかげで生産スピードが上がったので、マーベルも喜んでいました。

They save money exactly what we wanted these solutions to do.

まさに、私たちが望んでいた「お金の節約」です。

Where the solution was faltering was whenever there was motion blur.

しかし、モーションブラーが発生すると、その解決は困難でした。

When paul Bettany moves his head very quickly to the right or to the left, there's moments where those dots will reappear partially because in the data set itself we didn't have enough motion blur data.

ポール・ベタニーが頭を素早く右や左に動かしたとき、ドットが再び現れる瞬間があります。

Another example would be whenever the character turned his head where his eyes were out of the screen you would see those dots reappear as well.

また、キャラクターが首をかしげて画面から目が離れると、そのドットも再表示されます。

The Ai recognition.

Aiの認識です。

It's using the eyes as a kind of a crucial landmark to identify the face.

顔を識別するための重要な目印のようなものとして、目を利用しているのです。

And so if I turn my head this way and you can't see my eyes well the ai can identify that as a face again.

それで、私がこっちを向いて目が見えなくなっても、藍はそれをまた顔として認識することができます。

You can fix those things with more data.

そういうのはデータを増やせば直るんですよ。

The more data you feed these things typically the better right.

これらのデータは、一般的に多ければ多いほど良いとされています。

There wasn't a lot of clean data available on our next day.

翌日には、あまりきれいなデータが手に入らなかったのです。

I use case the star of the film had been dead for 25 years yet.

主役が亡くなってからまだ25年も経っていないのに、ケースを使うんです。

The director wanted more than 30 pages of dialogue read by iconic artist Andy Warhol himself.

監督は、象徴的なアーティストであるアンディ・ウォーホル本人が読む30ページ以上の台詞を希望しました。

So what do you do?

で、どうするんだ？

You could hire like a voice actor to do like a great impersonation but we found with his voices you kind of wanted to retain that humanness that Andy had himself, you can get fairly close with the voice actor but you really can't get it.

声優を雇えば、素晴らしいモノマネができるかもしれませんが、アンディの声には、アンディ自身が持っている人間らしさを残したいと思っていました。

So and that's where ai technology really helps general of audio is the ability for a artificial agent to be able to reproduce a particular voice but also reproduce the style, the delivery, the tone of of a real human being and do it in real time.

人工知能は、特定の音声を再現するだけでなく、実際の人間のスタイルや話し方、トーンを再現し、それをリアルタイムで行うことができるのです。

Welcome to resemble a generative audio engine.

ジェネレーティブオーディオエンジンのようなものを目指して歓迎します。

When the team initially reached out to us, they proposed what they were going to do.

最初に連絡を受けたとき、チームは自分たちが何をしようとしているのかを提案しました。

We asked him like, okay well what kind of data are we working with?

私たちは、「どんなデータを使っているのか？

And they sent us these audio files, recordings over a telephone.

そして、電話で録音した音声ファイルを送ってくれました。

They're all from the late seventies, mid seventies.

どれも70年代後半から半ばにかけてのものです。

The thing about machine learning is that bad data hurts a lot more than good data.

機械学習について言えば、悪いデータは良いデータよりもずっと痛いということです。

So I remember looking at the data we had available and thinking this is going to be really, really difficult to get right with three minutes of data, we're being asked to produce six episodes worth of content with three minutes of his voice.

3分間のデータで、6エピソード分のコンテンツを3分間の声で作れというのですから、これは本当に大変なことだと思ったことを覚えています。

So with three minutes hasn't said every word that's out there.

だから、3分では、そこにあるすべての言葉を語ってはいないのです。

So we're able to extrapolate to other phonetics and two other words and our algorithm is able to figure out how Andy would say those words.

そこで、他の音韻や2つの単語を推定し、アンディがそれらの単語をどのように言うかをアルゴリズムが解明することができるのです。

That's where neural networks are really powerful.

そこで、ニューラルネットワークが威力を発揮するわけです。

They basically take that speech data.

基本的にその音声データを取り込むのです。

They break it down and they understand hundreds and thousands of different features from it.

彼らはそれを分解し、そこから何百、何千ものさまざまな機能を理解するのです。

Once we have that voice that sounds like Andy from those three minutes of data then it's all about delivery, it's all about performance.

3分間のデータからアンディのような声が出れば、あとはデリバリー、つまりパフォーマンスです。

I went down to the office because they're making a robot of me and Andy's voice.

俺とアンディの声のロボットを作ってるから、事務所に行ったんだ。

It's highly irregular and that's where the idea of style transfer really came in.

このようにイレギュラーなことが多いので、スタイルトランスファーという発想が生まれたのでしょう。

So style transfer is this ability for our algorithm to take input as voice and someone else's speech.

つまり、スタイルトランスファーとは、私たちのアルゴリズムが、音声や他人の話し言葉を入力として取り込む能力なのです。

I wasn't very close to anyone.

私は、あまり親しい人がいなかったんです。

Although I guess I wanted to be we're able to say that line and then our algorithms are able to extract certain features out of that delivery and apply it to Andy's synthetic or target voice.

とはいえ、私たちはそのセリフを言うことができ、私たちのアルゴリズムはその配信からある特徴を抽出し、アンディの合成音声やターゲット音声に適用することができる、ということを言いたかったのでしょう。

The first one was automatically generated.

は自動生成されました。

No touch ups.

タッチアップなし。

I wasn't very close to anyone although I guess I wanted to be.

私は、そうありたいと思いながらも、誰とも親しくなかったんです。

The second one was like touch up by adding a pause.

2枚目は、間を持たせてタッチアップした感じです。

I wasn't very close to anyone although I guess I wanted to be.

私は、そうありたいと思いながらも、誰とも親しくなかったんです。

And then the third one was basically adding the final touch where it's like okay you know what?

そして、3つ目は、基本的に最後の仕上げをすることで、「よし、これでいいんだ」と思えるようにしました。

I really want to place an emphasis on this particular syllable.

この音節に重点を置きたいんです。

So yeah let's get a voice actor too.

そうそう声優も集めましょう。

Do that part to actually place that emphasis on the right words right syllable.

その部分は、実際に正しい単語正しい音節に重点を置くようにします。

And then the third output has those features extracted from that voice over actor and to Andy's voice.

そして、3つ目の出力は、その声優から抽出した特徴を、アンディの声に合わせて出力したものです。

I wasn't very close to anyone although I guess I wanted to be.

私は、そうありたいと思いながらも、誰とも親しくなかったんです。

You have definitely heard ai voice is being used in the past for touch ups for a line here or there.

これまでにも、あちこちのラインのタッチアップにaiボイスが使われているのは、間違いなくご存知でしょう。

This is probably the first major project that's using it so extensively.

これだけ広範囲に使っている大型プロジェクトは、おそらく今回が初めてでしょう。

Most of the effects are still a very manual process, characters can be extremely challenging creatures, things like for hair.

エフェクトのほとんどはまだ非常に手作業で、キャラクターは非常に難しいクリーチャーになることもありますし、髪の毛のためなどです。

Those things can be extremely challenging and time consuming.

そういったことは、非常に難しいし、時間もかかる。

One notable example of where the technology is headed are the scenes involving advanced three D.

この技術の方向性を示す顕著な例として、先進の3Dが登場するシーンがあります。

V.

V.

Effects in Avengers.

アベンジャーズでのエフェクト。

Endgame, josh Brolin plays Thanos.

エンドゲーム、サノスを演じるのはジョシュ・ブローリン。

We capture tons and tons of data in this laboratory setting with josh and then we use that data to train neural networks inside of a computer to learn how josh's face moves.

この実験室でジョシュのデータを大量に取得し、そのデータを使ってコンピュータの中でニューラル・ネットワークを訓練し、ジョシュの顔の動きを学習しています。

They'll say lines that look left look right.

左に見える線は右に見えると言うだろう。

They'll go through silly expressions and we capture an immense amount of detail in that laboratory setting.

その実験室という場所で、膨大な量のディテールを撮影するのです。

Then they can go to a movie set and act like they normally would act.

そして、映画の撮影現場に行って、普段と同じように演技をすることができるのです。

They don't have to wear any special equipment.

特別な道具を身につける必要はないのです。

Sometimes they wear a head camera but it's really lightweight stuff.

ヘッドカメラを装着することもありますが、本当に軽いものです。

Very unobtrusive and allows the actors to act like they're in a normal movie.

非常に控えめで、役者が普通の映画のように演技することができます。

Then later when the animators go to animate the digital character, they kind of tell the computer what expression the actor wants to be in and the computer takes what it knows based on this really dense set of data And uses it to plus up to enhance what the visual effects animator has done and make it look completely real.

そして、アニメーターがデジタルキャラクターをアニメーション化する際に、俳優がどのような表情をしたいのかをコンピューターに伝えます。コンピューターは、この非常に密度の高いデータセットを基に、視覚効果アニメーターが行ったことをさらに強化し、完全に本物らしくするために使用するのです。

So there will come a time in the future.

だから、将来的にはその時が来るでしょう。

Maybe it's 10 years, maybe it's 15 years but you will see networks that are going to be able to do really creative stuff.

10年後、15年後かもしれませんが、本当にクリエイティブなことができるようになるネットワークが登場することでしょう。

Again, that's not to suggest that you remove talented artist from the equation, but I mean that's the bet that we're taking as a business is a I gonna take over my job.

繰り返しますが、才能あるアーティストを排除せよということではありません。しかし、これはビジネスとしての賭けであり、私は自分の仕事を引き継ぐつもりです。

What I see happening right now is actually quite the opposite is that it is creating new opportunities for us to spend the time on doing things that are creatively meaningful rather than spending lots of time doing menial tasks, were actually able to focus on the creative things and we have more time for iteration.

今起きていることは、実はまったく逆で、雑用に多くの時間を費やすよりも、創造的に意義のあることに時間を使うための新しい機会が生まれているのです。

We can experiment more creatively to find the best looking result.

よりクリエイティブに、より見栄えのする仕上がりを追求することができるのです。

I think that the more that Ai can do the menial stuff for us, the more we're going to find ourselves being creatively fulfilled.

下世話なことをAiがやってくれればくれるほど、クリエイティブな充実感が得られると思うんです。

Again, the argument for us is like really creating content that isn't humanly possible.

繰り返しになりますが、私たちの主張は、本当に人間にはできないようなコンテンツを作るというようなことです。

So, you know, we're not interested in like creating an ad spot that a real voice actor would do because in all honesty, that real voice actor would do way better than the Ai technology would do would be way faster if you're just delivering a particular sentence or a particular line.

というのも、特定の文章やセリフを伝えるだけなら、正直なところ、Aiテクノロジーよりも本物の声優のほうがはるかにうまく、しかも速いからです。

The technology to do Deepfakes is so prevalent.

Deepfakesを行う技術は、これだけ普及しているのです。

You can get apps on your phone now that pretty much can do a Rudimentary Deepfake, it's going to be interesting in the future, are we going to have to put limits on this technology?

今はスマホのアプリでかなり初歩的なディープフェイクができるようになりました。今後面白くなりそうですが、この技術に制限を設ける必要があるのでしょうか。

How do we really verify what's authentic and what isn't there sort of social repercussions for it as well that I think that we don't quite understand yet.

何が本物で、何が本物でないかをどうやって確認するのか、その社会的な影響も含めて、私たちはまだ理解していないと思います。

I absolutely believe that this technology could be misused.

この技術は絶対に悪用される可能性があると思います。

Our number one priority is to make everyone feel comfortable what we're doing.

私たちが一番大切にしているのは、誰もが気持ちよく使えることです。

I think it comes down to educating the general population eventually making them understand that they should think through whatever they are, looking at, whatever they're reading and now whatever they're hearing, we feel we're directionally correct in our bet that this is a good technology to hang our hat on because it is getting so much better every single year and we don't want to miss what we see as like a once in a lifetime opportunity here.

一般市民を教育し、何を見ようが、何を読もうが、何を聞こうが、よく考えるべきだということを理解させることに尽きると思っています。