like behind the scenes?

舞台裏でってこと？

JOSS: Hmm, I have no idea.

ジョス：うーん。さっぱり分からない。

JOE: Well do you think you can find out?

ジョー：調査してくれるかな？

JOSS: You got it!

ジョス：わかったよ！

These are what Snapchat calls their lenses, but everyone else calls filters.

これらがスナップチャットがレンズって呼ぶもの。でもみんなはフィルターって呼んでる。

They are very silly but the engineering behind them is serious.

ばかげてるけどエンジニアたちは真剣なの。

JOSS: Oh my god.

ジョス：わぁ。

The technology came from a Ukrainian startup called Looksery

ルックサリーって呼ばれるウクライナのスタートアップが始めた技術よ。

which Snapchat acquired in September 2015 for a $150 million dollars.

2015年の9月にスナップチャットが1.5億ドルで買収したんだ。

That's reportedly the largest tech acquisition in Ukrainian history.

ウクライナの歴史で最大のテクノロジー買収だって言われているわ。

Their augmented reality filters tap into the large and rapidly

彼らの拡張されたリアリティフィルターは巨大で急速な

growing field of "computer vision" --

「コンピュータービジョン」という成長分野で利用されている。

those are applications that use pixel data from a camera in order to identify objects

物体を認識するのにカメラから画素データを使用するアプリよ。

and interpret 3D space. Computer vision is how you can deposit checks,

そして3Dスペースを分析する。コンピュータービジョンは小切手を貯金する方法よ。

it's how Facebook knows who's in your photos, how self-driving cars can avoid

そうやってファイスブックが写真を認識したり、自動運転の車が

running over people and how you can give yourself a doggy nose.

人を轢かないようにしたり、犬の鼻をつけてみたりしているの。

So how do snapchat filters work? They wouldn't let us talk to any of the Looksery

じゃあスナップチャットのフィルターはどうやって作動する？ルックサリーの誰とも話させないようにするんだ。

engineers but their patents are online.

エンジニアはね。でも彼らの特許品はオンラインにある。

The first step is detection. How does the computer know which part of an image is

最初は探知。コンピューターがどうやってイメージの一部を認識するか。

a face?

顔？

This is something that human brains are fantastic at. Too good even.

これは人間の脳が素晴らしいってこと。良すぎるともいえるぐらい。

But this is what a photo looks like to a computer. If all you have is the data for

でもコンピューターには写真がこんなふうに見えるの。見えるのは

the color value of each individual pixel, how do you find a face?

それぞれ個別の画素の明度。顔をどうやって見つけるんだい？

Well the key is looking for areas of contrast, between light and dark parts of

カギとなるのは、明るい部分と暗い部分の彩度を探すんだ。

the image. The pioneering facial detection tool is called the

開拓された顔探知ツールは

Viola-Jones algorithm.

ヴィオラ・ジョーンズ　アルゴリズム

It works by repeatedly scanning through the image data calculating the

イメージデータをスキャンし続けて、

difference between the grayscale pixel values underneath the white boxes and

白い箱と黒い箱の下にあるグレースケールのピクセル値の違いを見つけるの。

the black boxes. For instance, the bridge of the nose is usually lighter than the surrounding area on both sides,

例えば、鼻筋は囲んでいる両側のほうが通常明るい。

the eye sockets are darker than the forehead, and the middle of the forehead

例えば、鼻筋は囲んでいる両側のほうが通常明るい。

is lighter than the size of it.

そのサイズよりも明るい。

These are crude test for facial features, but if they find enough matches in one

顔の特徴の分析テストをするが、

area of the image,

一つのエリアが十分にマッチすれば、

it concludes that there is a face there. This kind of algorithm won't find your

顔がそこにあると結論づける。この種のアルゴリズムは

face if you're really tilted or facing sideways, but they're really accurate for

顔を傾けたり、横を向いていると見つけられないが、正面からは非常に

frontal faces, and it's how digital cameras have been putting boxes around

正確で、デジタルカメラが顔のまわりに箱を表示しているのと同じだ。

faces for years. But in order to apply this virtual lipstick, the app needs to

バーチャルの口紅を適用するには、アプリが

do more than just detect my face.

顔を認識するだけでは足りない。

It has to locate my facial features.

顔の特徴がどこにあるのか把握しなければならない。

According to the patents, it does this with an “active shape model” -- a statistical

特許によると、「アクティブな形状モデル」がこれを行う。

model of a face shape that's been trained by people manually marking the

何百もの顔の特徴を人が手動で入力することで統計モデルが作られる。

borders of facial features on hundreds, sometimes thousands of sample images.

時にそれは何千ものイメージを必要とすることもある。

The algorithm takes an average face from that trained data and aligns it with the

アルゴリズムはその平均的なデーターを

image from your phone's camera, scaling it and rotating it according to where it

携帯電話のカメラのイメージと比較し、

already knows your face is located.

顔の場所がどこなのか、図ったり傾けたりする。

But it's not a perfect fit, so the model analyzes the pixel data around each of the points,

でも完璧には当てはまらない。だからモデルは明るさと暗さの境目を探して

looking for edges defined by brightness and darkness. From the training images,

それぞれのまわりのピクセルデータを分析する。基本となるイメージから

the model has a template for what the bottom of your lips should look like,

形状には下唇がどんなふうに見えるのかテンプレートがある。

for example, so it looks for that pattern in your image and adjust the point to match it.

例えば、イメージの中のパターンを探し、点が合うように調整する。

Because some of these individual guesses might be wrong,

なぜならこれらの個別の予想は間違っているかもしれないから、

the model can correct and smooth them by taking into account the locations of all

全ての位置を考慮して微調整をする。

the other points. Once it locates your facial features, those points are used as

顔の特徴が把握できたら、それらの点は

coordinates to create a mesh.

網を作るために連動する。

That's a 3D mask that can move, rotate, and scale along with your face as the

動いたり、まわったりする3Dマスクで、

video data comes in for every frame and once they've got that, they can do a lot with it.

動いたり、まわったりする３Dマスクで、

They can deform the mask to change your face shape, change your eye color,

顔の形に合わせてマスクを変形したり、目の色を変えたり、

add accessories, and set animations to trigger when you open your mouth

アクセサリーを追加したり、口を開けたときにアニメーションが引き起こされるようにしたり

or move your eyebrows.

眉毛を動かすようにしたり。

And like the IOS app Face Swap Live, Snapchat can switch your face with a

IOSアプリ・フェス・スワップ・ライブのように、スナップチャットは友達と

friend's, although that involves a bunch more data.

顔を交換できる。もっとデータが必要にはなるけど。

The main components of this technology are not new. What's new is the ability to

この技術の主な要素は新しくない。新しいのは

run them in real time, from a mobile device. That level of processing speed is

携帯デバイスからリアルタイムで行えること。プロセススピードのレベルは

a pretty recent development.

かなり最近の開発。

So why go through all this trouble just to give people a virtual flower crown?

じゃあなぜ人にバーチャルの花環をあげるためだけに、わざわざこんなことをするのか？

Well Snapchats sees a revenue opportunity here. In a world that's

スナップチャットはここに利益の可能性を見出した。

flooded with advertisements,

広告であふれている世の中では

maybe the best hope that brands have to get us to look at their ads... is to

ブランドが私たちに広告を見せるためのベストな方法は

put them on our faces.

私たちの顔につけること。

Facial detection has a creepy side too, particularly when it's used to identify you by name.

顔認識には恐ろしい面もある。特に、名前を識別するのに使われる場合。

Both the FBI and private companies like Facebook and Google are massing huge

FBIもフェイスブックやグーグルのような個人企業も

databases of faces and there's currently no federal law regulating it.

顔のデータベースを大量に集めていて、現在それを規制する法律はない。

So some privacy advocates have come up with ways to camouflage your face from

だからプライバシー保護者は顔を顔認識アルゴリズムから

facial detection algorithms.

カモフラージュする方法を思いついた。

It's actually illegal in a lot of places to wear a face mask in public,

公の場では多くの場所で顔のマスクをつけることが禁止されているから

so this project by artist Adam Harvey suggest some things that you can do with

アーティストのアダム・ハーベイによるこのプロジェクトで今のところ

your hair and your makeup that can, for now, make your face Invisible to computers.

髪の毛や化粧を変えて、コンピューターにあなたの顔を見えないようにできる。