They revealed to us a tiny world of objects, life and structures

過去数世紀に渡って 顕微鏡は世界を変えてきました

that are too small for us to see with our naked eyes.

小さすぎて肉眼では見えない 物や生物や構造の世界を

They are a tremendous contribution to science and technology.

顕微鏡が明らかにし

Today I'd like to introduce you to a new type of microscope,

科学や技術に対して 大いなる貢献をしました

a microscope for changes.

今日ご紹介したいのは 新しいタイプの顕微鏡

It doesn't use optics like a regular microscope

「変化を見る顕微鏡」です

to make small objects bigger,

普通の顕微鏡のように 光学的に小さなものを大きく

but instead it uses a video camera and image processing

見せるのではなく

to reveal to us the tiniest motions and color changes in objects and people,

ビデオと画像処理を使って

changes that are impossible for us to see with our naked eyes.

肉眼では見えないような 人や物の微細な動きや

And it lets us look at our world in a completely new way.

色の変化を 見えるようにします

So what do I mean by color changes?

これは世界に対する まったく別の見方を与えてくれます

Our skin, for example, changes its color very slightly

色の変化とは どんなものかですが

when the blood flows under it.

例えば人の肌というのは 血の流れに応じて

That change is incredibly subtle,

色がかすかに変化します

which is why, when you look at other people,

これはとても 微妙な変化であるため

when you look at the person sitting next to you,

隣に座っている人を 見たところで

you don't see their skin or their face changing color.

肌や顔の色が

When we look at this video of Steve here, it appears to us like a static picture,

変わっているようには 見えません

but once we look at this video through our new, special microscope,

このスティーブの映像を見ても 静止画のように見えます

suddenly we see a completely different image.

しかし私達の新しい顕微鏡を 通して見ると

What you see here are small changes in the color of Steve's skin,

まったく異なる イメージが現れます

magnified 100 times so that they become visible.

肌の色の小さな変化を 100倍増幅することで

We can actually see a human pulse.

目で見て分かる ようにしています

We can see how fast Steve's heart is beating,

脈拍を見て取る こともできます

but we can also see the actual way that the blood flows in his face.

心拍の早さだけでなく

And we can do that not just to visualize the pulse,

顔を血がどう流れているかも 分かります

but also to actually recover our heart rates,

脈拍を可視化 できるだけでなく

and measure our heart rates.

心拍数を正確に

And we can do it with regular cameras and without touching the patients.

計測することもできます

So here you see the pulse and heart rate we extracted from a neonatal baby

普通のカメラでできて 患者に触れる必要もありません

from a video we took with a regular DSLR camera,

ここでは普通のDSLRカメラで撮った 新生児の映像から

and the heart rate measurement we get

脈拍と心拍数を 取り出しています

is as accurate as the one you'd get with a standard monitor in a hospital.

これで計測した心拍数は

And it doesn't even have to be a video we recorded.

病院にある通常の計器によるのと 同様の正確さがあります

We can do it essentially with other videos as well.

映像も自分で撮ったもの である必要はなく

So I just took a short clip from "Batman Begins" here

既存のビデオを使うこともできます

just to show Christian Bale's pulse.

これは『バットマン ビギンズ』の一場面から

(Laughter)

クリスチャン・ベールの心拍が 見えるようにしたものです（笑）

And you know, presumably he's wearing makeup,

クリスチャン・ベールの心拍が 見えるようにしたものです（笑）

the lighting here is kind of challenging,

映画なのでメークも しているだろうし

but still, just from the video, we're able to extract his pulse

光の条件にも 難しい面がありますが

and show it quite well.

それでも映像から 彼の心拍を

So how do we do all that?

非常にうまく 取り出せています

We basically analyze the changes in the light that are recorded

どうやっているのかですが

at every pixel in the video over time,

ビデオのそれぞれの ピクセルに記録された

and then we crank up those changes.

光の時間的変化を分析し

We make them bigger so that we can see them.

その変化を拡大しています

The tricky part is that those signals,

変化が見て分かるくらいに 大きくするわけです

those changes that we're after, are extremely subtle,

難しいのは 捉えたい変化が

so we have to be very careful when you try to separate them

非常に小さなものだ ということで

from noise that always exists in videos.

その変化を 録画につきもののノイズから

So we use some clever image processing techniques

注意深く分離する 必要があります

to get a very accurate measurement of the color at each pixel in the video,

それぞれのピクセルの ごく正確な色を得るために

and then the way the color changes over time,

巧妙な画像処理を 行っています

and then we amplify those changes.

それから色の 時間変化の仕方を捉え

We make them bigger to create those types of enhanced videos, or magnified videos,

それを拡大して

that actually show us those changes.

変化が目で見て分かるよう 変化の強調された

But it turns out we can do that not just to show tiny changes in color,

映像を作ります

but also tiny motions,

このようにして見えるようにできるものには 微細な色の変化だけでなく

and that's because the light that gets recorded in our cameras

微細な動きもあります

will change not only if the color of the object changes,

カメラに記録される光は 色の変化によってだけでなく

but also if the object moves.

物の動きによっても

So this is my daughter when she was about two months old.

変化するからです

It's a video I recorded about three years ago.

これは生後２ヶ月の頃の 私の娘です

And as new parents, we all want to make sure our babies are healthy,

３年ほど前に 録画したものです

that they're breathing, that they're alive, of course.

親になったばかりの人は 赤ちゃんが健康か 息をしているか

So I too got one of those baby monitors

生きているか いつも気にかけています

so that I could see my daughter when she was asleep.

私も娘の眠っている姿を 見られるよう

And this is pretty much what you'll see with a standard baby monitor.

ベビーモニターを 買いました

You can see the baby's sleeping, but there's not too much information there.

普通のベビーモニターで見られるのは このような映像です

There's not too much we can see.

眠っている様子は分かりますが 情報は大して得られません

Wouldn't it be better, or more informative, or more useful,

見て分かる事は 殆どありません

if instead we could look at the view like this.

もしこんな風に 見えたとしたら

So here I took the motions and I magnified them 30 times,

もっと情報が得られて 有用ではないでしょうか？

and then I could clearly see that my daughter was indeed alive and breathing.

動きを30倍拡大することで 娘の動きがはっきり見て取れるようになりました

(Laughter)

これで娘が確かに生きて 呼吸しているのが分かります

Here is a side-by-side comparison.

（笑）

So again, in the source video, in the original video,

並べて比較したところですが

there's not too much we can see,

元々のビデオでは

but once we magnify the motions, the breathing becomes much more visible.

動きが分かりません

And it turns out, there's a lot of phenomena

しかし動きを拡大した映像では 呼吸の様子がよく分かります

we can reveal and magnify with our new motion microscope.

この「変化を見る顕微鏡」によって

We can see how our veins and arteries are pulsing in our bodies.

明らかにできる身の回りの現象は たくさんあります

We can see that our eyes are constantly moving

体の中で静脈や動脈が どう脈打っているか分かります

in this wobbly motion.

目が絶えずユラユラ 動いていることも

And that's actually my eye,

よく分かります

and again this video was taken right after my daughter was born,

これは私の目で

so you can see I wasn't getting too much sleep. (Laughter)

娘が生まれた頃に 撮ったので

Even when a person is sitting still,

あまり寝ていないのが 分かるかと思います（笑）

there's a lot of information we can extract

じっと座っている人からでさえ

about their breathing patterns, small facial expressions.

多くの情報が得られます

Maybe we could use those motions

呼吸のパターンとか 小さな顔の表情とか

to tell us something about our thoughts or our emotions.

このような動きから

We can also magnify small mechanical movements,

その人の思っていることや 感情も分かるかもしれません

like vibrations in engines,

エンジンの振動のような 小さな機械の動きも

that can help engineers detect and diagnose machinery problems,

拡大して見えるようにできます

or see how our buildings and structures sway in the wind and react to forces.

機械の問題の検出や診断を技術者がするのに 役立つかもしれません

Those are all things that our society knows how to measure in various ways,

建物や構造物が風に揺れたり 反発したりする様子も見て取れます

but measuring those motions is one thing,

こういった動きを計測する方法なら 以前からありましたが

and actually seeing those motions as they happen

その動いている様子を

is a whole different thing.

実際に目で見えるようにする というのは

And ever since we discovered this new technology,

また別の話になります

we made our code available online so that others could use and experiment with it.

私達はこの技術を開発して以来

It's very simple to use.

ネット上でプログラムを公開して 誰でも実験できるようにしています

It can work on your own videos.

とても簡単に使え

Our collaborators at Quanta Research even created this nice website

自分のビデオで 試すことができます

where you can upload your videos and process them online,

私達の協力者のQuanta Researchは ご覧のようなサイトも用意していて

so even if you don't have any experience in computer science or programming,

ビデオをアップするだけで 結果を見られます

you can still very easily experiment with this new microscope.

だからコンピュータサイエンスや プログラミングの知識がまったくなくても

And I'd like to show you just a couple of examples

簡単にこの顕微鏡で 実験ができます

of what others have done with it.

これを使ってみんなが どんなことをしているのか

So this video was made by a YouTube user called Tamez85.

いくつかご覧に入れましょう

I don't know who that user is,

このビデオはTomez85という YouTubeユーザーが作ったもので

but he, or she, used our code

どういう人なのか知りませんが

to magnify small belly movements during pregnancy.

私達のプログラムを使って

It's kind of creepy.

妊婦のお腹の動きを 拡大しています

(Laughter)

ちょっと不気味ですね

People have used it to magnify pulsing veins in their hands.

（笑）

And you know it's not real science unless you use guinea pigs,

ここでは手の静脈の拍動を 拡大しています

and apparently this guinea pig is called Tiffany,

しかしモルモットを使わなくちゃ 科学っぽくなりませんよね

and this YouTube user claims it is the first rodent on Earth

このモルモットは ティファニーという名前で

that was motion-magnified.

作者はこれが 微細な動きを拡大された

You can also do some art with it.

最初の齧歯類だと 主張しています

So this video was sent to me by a design student at Yale.

美術作品を作ることもできます

She wanted to see if there's any difference

イェール大のデザイン科の学生が 送ってきたもので

in the way her classmates move.

友人の身動きの仕方に 違いがあるか

She made them all stand still, and then magnified their motions.

知りたかったのだそうです

It's like seeing still pictures come to life.

じっとしているように頼んで それから動きを拡大したものです

And the nice thing with all those examples

写真が動き始めたみたいな 感じがします

is that we had nothing to do with them.

これらの例の良いところは

We just provided this new tool, a new way to look at the world,

我々自身何もする必要が なかったことです

and then people find other interesting, new and creative ways of using it.

ただ新しい道具と 世界を見る新しい方法を提供するだけで

But we didn't stop there.

いろんな人が新しくて面白い 創造的な使い方を見つけてくれます

This tool not only allows us to look at the world in a new way,

しかしそれで終わりではありません

it also redefines what we can do

このツールは世界に対し 新しい見方ができるようにするだけでなく

and pushes the limits of what we can do with our cameras.

カメラで出来ることを再定義し

So as scientists, we started wondering,

可能性の限界を 押し広げもします

what other types of physical phenomena produce tiny motions

科学者として 私達は考え始めました

that we could now use our cameras to measure?

カメラで計測できる 微細な動きを生み出す物理現象として

And one such phenomenon that we focused on recently is sound.

他にどんなものがあるだろう？

Sound, as we all know, is basically changes

そのような現象の１つとして 我々が最近取り組んでいるのが「音」です

in air pressure that travel through the air.

音というのは基本的に

Those pressure waves hit objects and they create small vibrations in them,

空気中を伝わる空気圧の変化です

which is how we hear and how we record sound.

圧力の波が物にぶつかる時 小さな振動を生じ

But it turns out that sound also produces visual motions.

それを使って私達は音を聞いたり 録音したりしています

Those are motions that are not visible to us

しかし音は視覚的な 動きも作り出します

but are visible to a camera with the right processing.

肉眼では見えなくとも

So here are two examples.

カメラを使って適切に処理すれば 見えるようになります

This is me demonstrating my great singing skills.

例を２つお見せします

(Singing)

これは私が素晴らしい歌唱力を 披露しているところです

(Laughter)

アー

And I took a high-speed video of my throat while I was humming.

（笑）

Again, if you stare at that video,

声を出している時の喉を 高速度カメラで撮影しました

there's not too much you'll be able to see,

元の映像を見ても

but once we magnify the motions 100 times, we can see all the motions and ripples

ほとんど動きは見られませんが

in the neck that are involved in producing the sound.

動きを100倍拡大してやると 発声に関わる首の部分に

That signal is there in that video.

波のような動きが広がっているのが 分かります

We also know that singers can break a wine glass

音の痕跡が映像に 残されているわけです

if they hit the correct note.

歌手は特定の音程の声を出して グラスを割れる

So here, we're going to play a note

という話は 良く知られています

that's in the resonance frequency of that glass

ここではグラスの

through a loudspeaker that's next to it.

共鳴周波数の音を

Once we play that note and magnify the motions 250 times,

横のスピーカーから 出しています

we can very clearly see how the glass vibrates

その時の動きを 250倍拡大すると

and resonates in response to the sound.

グラスが音に共鳴して 振動しているのが

It's not something you're used to seeing every day.

はっきり分かります

But this made us think. It gave us this crazy idea.

あまり日常で目にする光景では ありませんね

Can we actually invert this process and recover sound from video

しかしここから 突飛なアイデアを思いつきました

by analyzing the tiny vibrations that sound waves create in objects,

この過程を逆にして 映像から音を 復元できないでしょうか？

and essentially convert those back into the sounds that produced them.

音波が物の表面に作り出す 微細な振動を解析して

In this way, we can turn everyday objects into microphones.

元になった音を 生成するのです

So that's exactly what we did.

そのようにすれば 身の回りにある物を マイクに変えることができます

So here's an empty bag of chips that was lying on a table,

私達はまさにそれを やってみました

and we're going to turn that bag of chips into a microphone

テーブルの上にポテトチップの 空き袋があります

by filming it with a video camera

これをビデオ撮影して 音により生じた —

and analyzing the tiny motions that sound waves create in it.

微細な動きを 解析することで

So here's the sound that we played in the room.

ポテトチップの袋をマイクロフォンに 変えようというわけです

(Music: "Mary Had a Little Lamb")

この部屋では こんな音楽を流しています

And this is a high-speed video we recorded of that bag of chips.

(曲『メリーさんのひつじ』)

Again it's playing.

そしてポテトチップの袋を 高速度カメラで撮影しました

There's no chance you'll be able to see anything going on in that video

これを見ても

just by looking at it,

何かが起きているようには

but here's the sound we were able to recover just by analyzing

見えませんが

the tiny motions in that video.

映像の中の微細な動きを 解析することで

(Music: "Mary Had a Little Lamb")

このような音を 再現できました

I call it -- Thank you.

(曲『メリーさんのひつじ』)

(Applause)

私はこれを—

I call it the visual microphone.

（拍手）

We actually extract audio signals from video signals.

「ビジュアル・マイクロフォン」 と呼んでいます

And just to give you a sense of the scale of the motions here,

ビデオ信号からオーディオ信号を 取り出しているのです

a pretty loud sound will cause that bag of chips to move less than a micrometer.

動きの大きさが どれくらいかというと

That's one thousandth of a millimeter.

かなり大きな音でも ポテトチップの袋の動きは１ミクロン未満です

That's how tiny the motions are that we are now able to pull out

１ミリの千分の１です

just by observing how light bounces off objects

そのような小さな動きでも

and gets recorded by our cameras.

映像の中で物に反射する光を 観察することによって

We can recover sounds from other objects, like plants.

検出できるのです

(Music: "Mary Had a Little Lamb")

他の物を使うこともできます たとえば植物とか

And we can recover speech as well.

(曲『メリーさんのひつじ』)

So here's a person speaking in a room.

声を復元することもできます

Voice: Mary had a little lamb whose fleece was white as snow,

こちらでは部屋の中で 人が話しています

and everywhere that Mary went, that lamb was sure to go.

Mary had a little lamb whose fleece was white as snow, (メリーさんは小さな羊を飼っていた 雪のように白い毛をして)

Michael Rubinstein: And here's that speech again recovered

and everywhere that Mary went, that lamb was sure to go. (メリーさんの行くところは どこにでも付いてきた)

just from this video of that same bag of chips.

前と同じ ポテトチップの袋の映像から

Voice: Mary had a little lamb whose fleece was white as snow,

復元した声です

and everywhere that Mary went, that lamb was sure to go.

Mary had a little lamb whose fleece was white as snow,

MR: We used "Mary Had a Little Lamb"

and everywhere that Mary went, that lamb was sure to go.

because those are said to be the first words

『メリーさんのひつじ』を使ったのは

that Thomas Edison spoke into his phonograph in 1877.

エジソンが1877年に 蓄音機で

It was one of the first sound recording devices in history.

最初に録音したのが この歌だったからです

It basically directed the sounds onto a diaphragm

それは音を記録する 最初の装置の１つでした

that vibrated a needle that essentially engraved the sound on tinfoil

音を振動板で受け

that was wrapped around the cylinder.

その振動を針に伝え それが筒に巻いたアルミ箔に

Here's a demonstration of recording and replaying sound with Edison's phonograph.

記録される仕掛けでした

(Video) Voice: Testing, testing, one two three.

これはエジソンの蓄音機で 録音し再生するデモです

Mary had a little lamb whose fleece was white as snow,

（録音）Testing, testing, one two three.

and everywhere that Mary went, the lamb was sure to go.

Mary had a little lamb whose fleece was white as snow,

Testing, testing, one two three.

and everywhere that Mary went, the lamb was sure to go.

Mary had a little lamb whose fleece was white as snow,

（再生）Testing, testing, one two three.

and everywhere that Mary went, the lamb was sure to go.

Mary had a little lamb whose fleece was white as snow,

MR: And now, 137 years later,

and everywhere that Mary went, the lamb was sure to go.

we're able to get sound in pretty much similar quality

137年後の今日

but by just watching objects vibrate to sound with cameras,

音に振動する物の映像だけから 同程度のクオリティの音を

and we can even do that when the camera

再現できるようになりました

is 15 feet away from the object, behind soundproof glass.

しかも防音ガラスの 向こう側にある

So this is the sound that we were able to recover in that case.

５メートル離れた物を使って それができるのです

Voice: Mary had a little lamb whose fleece was white as snow,

そうやって復元した音がこれです

and everywhere that Mary went, the lamb was sure to go.

Mary had a little lamb whose fleece was white as snow,

MR: And of course, surveillance is the first application that comes to mind.

and everywhere that Mary went, the lamb was sure to go.

(Laughter)

すぐ思いつく応用は スパイ活動でしょう

But it might actually be useful for other things as well.

（笑）

Maybe in the future, we'll be able to use it, for example,

しかし他のことにも使えます

to recover sound across space,

もしかしたら 将来宇宙の向こうの音を

because sound can't travel in space, but light can.

再現できるように なるかもしれません