Placeholder Image

字幕表 動画を再生する

  • One of the biggest challenges in computer graphics

    コンピュータグラフィックスにおける最大の難問の1 つは

  • has been being able to create a photo-real,

    本物のように見える人の顔を

  • digital human face.

    デジタル合成することでした

  • And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

    これが難しい理由は エイリアンや恐竜とは違って

  • we look at human faces every day.

    私達が人の顔を毎日見ているからです

  • They are very important to how we communicate with each other.

    私達がコミュニケーションを取る上で

  • As a result, we're tuned in to the subtlest things

    顔は重要な役割を果たしているので レンダリングされた顔が

  • that could possibly be wrong with a computer rendering,

    微細な部分まで再現していないと

  • in order to believe whether these things are realistic.

    本物らしく見えないのです

  • And what I'm going to do in the next five minutes

    これからの5 分間で

  • is take you through a process

    写実的な顔を合成しようと

  • where we tried to create a reasonably photo-realistic computer-generated face,

    私達が試みたプロセスを 辿っていこうと思います

  • using some computer graphics technology we've developed,

    これには私達がImage Metrics 社と開発した

  • and also some collaborators at a company called Image Metrics.

    CG の技術を使っています

  • And we're going to try to do a photo-real face

    対象としたのは ここに出ている

  • of an actress named Emily O'Brien, who is right there.

    エミリー オブライエンという女優の顔です

  • And that's actually a completely computer-generated rendering of her face.

    これは実際にレンダリングで生成された彼女の顔です

  • By the end of the talk, we're going to see it move.

    動いているところを後でお見せします

  • The way that we did this is we tried to start with Emily herself,

    出発点となるのはエミリー本人です

  • who was gracious enough to come to our laboratory

    彼女はマリーナデルレイにある私達のラボまで来て

  • in Marina Del Rey, and sit for a session in Light Stage 5.

    このLight Stage 5 での撮影を快く引き受けてくれました

  • This is a face-scanning sphere, with 156 white LEDs all around

    この球面は顔をスキャンする装置で 156 個のLED が取り付けられており

  • that allow us to photograph her

    照明の状況を自由にコントロールしながら

  • in a series of very controlled illumination conditions.

    撮影ができるようになっています

  • And the lighting that we use these days looks something like this.

    私達が最近使う照明の種類はこのようなものです

  • We shoot all of these photographs in about three seconds.

    この全部を3 秒ほどで撮れます

  • And we basically capture enough information

    これで基本的に十分な情報を得られます

  • with video projector patterns that drape over the contours of her face,

    彼女の顔の等高線を描き出すビデオプロジェクタのパターンと

  • and different principle directions of light from the light stage,

    Light Stage による様々な方向からの光で

  • to figure out both the coarse-scale

    彼女の顔を粗いスケールと

  • and the fine-scale detail of her face.

    微細なスケールで把握します

  • If we zoom in on this photograph right here,

    この写真を拡大してみましょう

  • we can see it's a really nice photograph to have of her,

    彼女を捉えたとても良い写真です

  • because she is lit from absolutely everywhere at the same time

    あらゆる方向から同時に照らされていて

  • to get a nice image of her facial texture.

    顔のテクスチャがよく現れています

  • And in addition, we've actually used polarizers on all the lights --

    私達はすべての照明に偏向フィルタを付けています

  • just like polarized sunglasses can block

    偏向サングラスが

  • the glare off of the road,

    路面のぎらつきを押えるように

  • polarizers can block the shine off of the skin,

    偏光フィルタは肌のてかりを押えます

  • so we don't get all those specular reflections to take this map.

    これにより正反射なしにテクスチャマップが得られます

  • Now, if we turn the polarizers around just a little bit,

    偏光フィルタを少し回すと

  • we can actually bring that specular reflection

    肌の正反射が

  • of the skin back in,

    再び現れ

  • and you can see she looks kind of shiny and oily at this point.

    光って脂ぎって見えます

  • If you take the difference between these two images here,

    この2 つの画像の差分を取ると

  • you can get an image lit from the entire sphere of light

    球面全体に照らされた肌の

  • of just the shine off of Emily's skin.

    反射だけを取り出すことができます

  • I don't think any photograph like this had ever been taken

    私達がここでやったような写真は

  • before we had done this.

    今まで撮られたことはないと思います

  • And this is very important light to capture,

    これは捉えるべき非常に重要な光です

  • because this is the light that reflects off the first surface of the skin.

    顔の一番表面で反射された光で

  • It doesn't get underneath the translucent

    肌の透明な層を通った

  • layers of the skin and blur out.

    ぼやけた光は除かれています

  • And, as a result, it's a very good cue

    そのため

  • to the detailed shape of the skin-pore structure

    私達みんなが持っていて 本物の人らしく見せている

  • and all of the fine wrinkles that all of us have,

    肌のキメや 細かい皺の

  • the things that actually make us look like real humans.

    とても良い情報が得られます

  • So, if we use information that comes off of this specular reflection,

    この正反射から得られた情報を使うと

  • we can go from a traditional face scan

    従来の顔のスキャンによる

  • that might have the gross contours of the face and the basic shape,

    顔の全体的な輪郭や基本的な形状に

  • and augment it with information

    肌のキメや細かい皺の

  • that puts in all of that skin pore structure and fine wrinkles.

    情報を付け加えることができます

  • And, even more importantly,

    ここで重要なのは

  • since this is a photometric process that only takes three seconds to capture,

    この測光プロセスには3 秒しかかからないということです

  • we can shoot Emily

    私達はエミリーのたくさんの

  • in just part of an afternoon,

    顔の表情の写真を

  • in many different facial poses and facial expressions.

    ある日の午後だけで撮影することができました

  • So, here you can see her moving her eyes around, moving her mouth around.

    彼女が目や口を動かしている写真が並んでいます

  • And these we're actually going to use to create a photo-real digital character.

    これらを使って写実的なキャラクタを作り出します

  • If you take a look at these scans that we have of Emily,

    このエミリーのスキャン画像を見ていると

  • you can see that the human face does an enormous amount of amazing things

    人の顔というのが

  • as it goes into different facial expressions.

    驚くほど多彩な表情を作れるのがわかります

  • You can see things. Not only the face shape changes,

    ここでは顔の形状の変化だけではなく

  • but all sorts of different skin buckling and skin wrinkling occurs.

    あらゆる肌の屈曲や皺のパターン

  • You can see that the skin pore structure changes enormously

    肌のキメの変化を見ることができます

  • from stretched skin pores

    引き延ばされたところから

  • to the regular skin texture.

    通常の肌のテクスチャまで

  • You can see the furrows in the brow and how the microstructure changes there.

    眉の畝とその微細構造の変化

  • You can see muscles pulling down at flesh to bring her eyebrows down.

    筋肉に引っ張られて眉毛が下がり

  • Her muscles bulging in her forehead when she winces like that.

    しかめ面のときは額の肉が盛り上がります

  • In addition to this kind of high-resolution geometry,

    このような高解像度の形状に加え

  • since it's all captured with cameras, we've got a great texture map to use for the face.

    カメラが捉えた 顔に使えるすばらしいテクスチャマップがあります

  • And by looking at how the different color channels of the illumination,

    赤、緑、青という照明の

  • the red and the green and the blue,

    異なる色の成分は

  • diffuse the light differently,

    拡散の仕方が違い

  • we can come up with a way of shading the skin on the computer.

    それを考慮して肌のシェーディングを行います

  • Then, instead of looking like a plaster mannequin,

    そうすると 石膏で出来たマネキンみたいだったのが

  • it actually looks like it's made out of living human flesh.

    生きた人間の肉体に見えるようになります

  • And this is what we used

    これはImage Metrics 社が

  • to give to the company Image Metrics

    デジタル版のエミリーの

  • to create a rigged, digital version of Emily.

    作成に使ったもので

  • We're just seeing the coarse-scale geometry here.

    粗いスケールの形状による

  • But they basically created a digital puppet of her,

    彼女のデジタル操り人形です

  • where you can pull on these various strings,

    これらの糸を引くと

  • and it actually moves her face in ways that are

    私達が撮ったスキャン画像に

  • completely consistent with the scans that we took.

    合った形で動きます

  • And, in addition to the coarse-scale geometry,

    粗いスケールの形状に加え

  • they also used all of that detail

    ディスプレイスメントマップを使って

  • to create a set of what are called "displacement maps"

    微細な部分を作ります

  • that animate as well.

    これは動かすこともできます

  • These are the displacement maps here.

    これがディスプレイスメントマップ

  • And you can see those different wrinkles actually show up as she animates.

    彼女の動きに応じて 違った皺が現れています

  • So the next process was then to animate her.

    次にアニメーションを付けます

  • We actually used one of her own performances to provide the source data.

    データの元として エミリー本人が演じた映像を使いました

  • So, by analyzing this video with computer vision techniques,

    そのビデオをコンピュータビジョンのテクニックを使って解析し

  • they were able to drive the facial rig

    コンピュータが生成した動きを持った

  • with the computer-generated performance.

    顔を作り出しました

  • So what you're going to see now, after this,

    この後見ていただくのは

  • is a completely photo-real digital face.

    完成したデジタルの顔です

  • We can turn the volume up a little bit if that's available.

    ボリュームを少し上げましょう

  • Emily: Image Metrics is a markerless, performance-driven animation company.

    Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です

  • We specialize in high-quality facial animation

    テレビゲームや映画のためのハイクオリティな

  • for video games and films.

    顔のアニメーションを専門としています

  • Image Metrics is a markerless, performance-driven animation company.

    Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です

  • We specialize in high quality facial animation

    テレビゲームや映画のためのハイクオリティな

  • for video games and films.

    顔のアニメーションを専門としています

  • Paul Debevec: So, if we break that down into layers, here's that diffuse component

    レイヤに分解してみましょう

  • we saw in the first slide.

    これは光の拡散の部分です

  • Here is the specular component animating.

    これは正反射部分のアニメーション

  • You can see all the wrinkles happening there.

    皺が現れているのがわかります

  • And there is the underlying wireframe mesh.

    これは下にあるワイヤフレームのメッシュ

  • And that is Emily herself.

    そしてエミリー本人

  • Now, where are we going with this here?

    今後どうするかですが

  • We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

    Light Stage 5 を一歩先へ進めたLight Stage 6 を作りました

  • and we're looking at taking this technology

    このテクノロジーを

  • and applying it to whole human bodies.

    人の体全体に適用しています

  • This is Bruce Lawmen, one of our researchers in the group,

    彼は研究メンバーのブルース ローメンで

  • who graciously agreed to get captured running in the Light Stage.

    走っているところをキャプチャするモデルになってくれました

  • And let's take a look at a computer-generated version

    コンピュータで生成した彼が

  • of Bruce, running in a new environment.

    新たな環境の中で走っているのをご覧ください

  • And thank you very much.

    どうもありがとうございました

  • (Applause)

    (拍手)

One of the biggest challenges in computer graphics

コンピュータグラフィックスにおける最大の難問の1 つは

字幕と単語

動画の操作 ここで「動画」の調整と「字幕」の表示を設定することができます

B1 中級 日本語 TED エミリー アニメーション 反射 テクスチャ スキャン

TED】ポール・デベベックがフォトリアルなデジタル顔をアニメーション化 (【TED】Paul Debevec animates a photo-real digital face)

  • 419 34
    逍海 に公開 2021 年 01 月 14 日
動画の中の単語