Placeholder Image

字幕表 動画を再生する

  • Most of us think of motion as a very visual thing.

    私たちはみんな動きというのは 見えるものだと思っています

  • If I walk across this stage or gesture with my hands while I speak,

    私がステージの上を歩き 話しながら身振り手振りをする

  • that motion is something that you can see.

    そのような動きは 目に見えるものです

  • But there's a world of important motion that's too subtle for the human eye,

    しかしあまりに小さくて人の目には留まらない 重要な動きの世界があります

  • and over the past few years,

    この何年か私たちは

  • we've started to find that cameras

    そういった動きが 人の目には見えなくとも

  • can often see this motion even when humans can't.

    カメラなら捉えられることに 注意を払うようになりました

  • So let me show you what I mean.

    どういうことか 説明しましょう

  • On the left here, you see video of a person's wrist,

    左側は人の手の映像で

  • and on the right, you see video of a sleeping infant,

    右側は眠っている 赤ちゃんの映像です

  • but if I didn't tell you that these were videos,

    しかし もし私が ビデオだと言わなければ

  • you might assume that you were looking at two regular images,

    皆さん写真を見ているのだと 思ったことでしょう

  • because in both cases,

    どちらの映像にも

  • these videos appear to be almost completely still.

    ほとんど動きがないからです

  • But there's actually a lot of subtle motion going on here,

    それでもここには 沢山の微細な動きがあります

  • and if you were to touch the wrist on the left,

    左側の人の 手首に触れてみたなら

  • you would feel a pulse,

    脈を感じるだろうし

  • and if you were to hold the infant on the right,

    右側の赤ちゃんを 抱きかかえたなら

  • you would feel the rise and fall of her chest

    呼吸に応じて赤ちゃんの胸が 上下するのを

  • as she took each breath.

    感じられることでしょう

  • And these motions carry a lot of significance,

    これらの動きは 大切なものですが

  • but they're usually too subtle for us to see,

    あまりに小さくて 見ただけでは分からないため

  • so instead, we have to observe them

    手で直に触って

  • through direct contact, through touch.

    感じ取る必要があるのです

  • But a few years ago,

    しかし数年前に

  • my colleagues at MIT developed what they call a motion microscope,

    MITの同僚が「モーション・マイクロスコープ」 というのを作りました

  • which is software that finds these subtle motions in video

    映像の中の このような小さな動きを 検出して拡大し

  • and amplifies them so that they become large enough for us to see.

    目で見て分かるようにする ソフトウェアです

  • And so, if we use their software on the left video,

    そのソフトウェアを 左の映像に使うと

  • it lets us see the pulse in this wrist,

    手首の脈動が 目に見えるようになり

  • and if we were to count that pulse,

    脈を数えて

  • we could even figure out this person's heart rate.

    心拍数を測定する ことだってできます

  • And if we used the same software on the right video,

    そのソフトウェアを 右の映像に使ったなら

  • it lets us see each breath that this infant takes,

    赤ちゃんのする呼吸が 目に見えるようになり

  • and we can use this as a contact-free way to monitor her breathing.

    触れることなく赤ちゃんの呼吸の状況を モニタできるようになります

  • And so this technology is really powerful because it takes these phenomena

    これはとても 強力な技術です

  • that we normally have to experience through touch

    通常は触れなければ 分からない現象を

  • and it lets us capture them visually and non-invasively.

    接触せずに視覚だけで 捉えられるからです

  • So a couple years ago, I started working with the folks that created that software,

    2年ほど前から私は このソフトウェアを 考案した人たちと共同で研究するようになり

  • and we decided to pursue a crazy idea.

    奇想天外なアイデアに 挑戦することにしました

  • We thought, it's cool that we can use software

    このソフトウェアで

  • to visualize tiny motions like this,

    小さな動きを可視化して

  • and you can almost think of it as a way to extend our sense of touch.

    あたかも触覚が拡張されたかのように できるのはすごいけど

  • But what if we could do the same thing with our ability to hear?

    これを聴覚にも適用できないだろうか と思ったのです

  • What if we could use video to capture the vibrations of sound,

    音による振動というのもまた

  • which are just another kind of motion,

    一種の動きなのだから

  • and turn everything that we see into a microphone?

    それを捉えて目に付くものすべてを マイクに変えてしまうことはできないか?

  • Now, this is a bit of a strange idea,

    これはちょっと奇妙な アイデアなので

  • so let me try to put it in perspective for you.

    分かるように 説明しましょう

  • Traditional microphones work by converting the motion

    普通のマイクというのは 中にある振動板の動きを

  • of an internal diaphragm into an electrical signal,

    電気信号に変換する 仕組みになっています

  • and that diaphragm is designed to move readily with sound

    振動板は音に敏感に反応して 動くようにデザインされていて

  • so that its motion can be recorded and interpreted as audio.

    その動きを音として解釈し 記録できるようになっています

  • But sound causes all objects to vibrate.

    しかし音はどんな物でも 振動させます

  • Those vibrations are just usually too subtle and too fast for us to see.

    ただそういった振動はあまりに小さく速いため 目に見えないだけです

  • So what if we record them with a high-speed camera

    この振動を 高速度カメラで撮影して

  • and then use software to extract tiny motions

    ソフトウェアで その小さな動きを取り出し

  • from our high-speed video,

    分析することで

  • and analyze those motions to figure out what sounds created them?

    その振動を作り出したのがどんな音か 知ることはできないだろうか?

  • This would let us turn visible objects into visual microphones from a distance.

    それができれば 離れたところにあるものを 視覚的なマイクへと変えることができます

  • And so we tried this out,

    それで試してみました

  • and here's one of our experiments,

    ご覧頂くのは 行った実験の1つで

  • where we took this potted plant that you see on the right

    右の鉢植えの植物を

  • and we filmed it with a high-speed camera

    高速度カメラで 撮影しながら

  • while a nearby loudspeaker played this sound.

    近くに置いたスピーカーで こんな音を流しました

  • (Music: "Mary Had a Little Lamb")

    (曲 『メリーさんのひつじ』)

  • And so here's the video that we recorded,

    これが撮影したビデオで

  • and we recorded it at thousands of frames per second,

    毎秒数千フレームで 撮っていますが

  • but even if you look very closely,

    目をこらしてみても

  • all you'll see are some leaves

    ただ葉っぱが じっとしているようにしか

  • that are pretty much just sitting there doing nothing,

    見えないでしょう

  • because our sound only moved those leaves by about a micrometer.

    音による葉っぱの動きは 1ミクロン程度だからです

  • That's one ten-thousandth of a centimeter,

    1センチの1万分の1です

  • which spans somewhere between a hundredth and a thousandth

    この映像で1ピクセルの 百分の1から千分の1の間

  • of a pixel in this image.

    というところです

  • So you can squint all you want,

    だからいくら 目をこらしたところで

  • but motion that small is pretty much perceptually invisible.

    そのような小さな動きは 目では捉えられないのです

  • But it turns out that something can be perceptually invisible

    しかし知覚的には 感知できなくとも

  • and still be numerically significant,

    数値的には 有意な変化があり

  • because with the right algorithms,

    適切なアルゴリズムを使えば

  • we can take this silent, seemingly still video

    この静止しているようにしか 見えない映像から

  • and we can recover this sound.

    このような音を 取り出すことができます

  • (Music: "Mary Had a Little Lamb")

    (曲 『メリーさんのひつじ』)

  • (Applause)

    (拍手)

  • So how is this possible?

    どうしてそんなことが 可能なのか?

  • How can we get so much information out of so little motion?

    そんな小さな動きからどうやって これほど多くの情報を取り出せるのか?

  • Well, let's say that those leaves move by just a single micrometer,

    葉っぱの動きが ちょうど1ミクロンで

  • and let's say that that shifts our image by just a thousandth of a pixel.

    映像の中の動きは 千分の1ピクセルだったとしましょう

  • That may not seem like much,

    これは わずかなものに 見えますが

  • but a single frame of video

    ビデオの1フレームの中には

  • may have hundreds of thousands of pixels in it,

    何十万というピクセルがあり

  • and so if we combine all of the tiny motions that we see

    そういった小さな動きを

  • from across that entire image,

    映像全体から集めれば

  • then suddenly a thousandth of a pixel

    千分の1ピクセルが 積み重なって

  • can start to add up to something pretty significant.

    十分大きなものになるのです

  • On a personal note, we were pretty psyched when we figured this out.

    個人的なことですが このことを発見した時には すごく興奮しましたね

  • (Laughter)

    (笑)

  • But even with the right algorithm,

    優れたアルゴリズムはありましたが

  • we were still missing a pretty important piece of the puzzle.

    パズルの重要なピースが まだ欠けていました

  • You see, there are a lot of factors that affect when and how well

    この手法がうまくいくかに 影響する要因は

  • this technique will work.

    たくさんあります

  • There's the object and how far away it is;

    対象がどんな物で どれくらい離れているか

  • there's the camera and the lens that you use;

    どんなカメラや レンズを使うか

  • how much light is shining on the object and how loud your sound is.

    物に当てる光の強さや 音の大きさはどれくらいか

  • And even with the right algorithm,

    そしてアルゴリズムは 優れているにしても

  • we had to be very careful with our early experiments,

    初期の実験はすごく 慎重にやる必要がありました

  • because if we got any of these factors wrong,

    そういった要因の 何か1つでもまずいと

  • there was no way to tell what the problem was.

    何が悪かったのかも分からず

  • We would just get noise back.

    ただノイズが 出てくるだけだからです

  • And so a lot of our early experiments looked like this.

    ですから初期の実験は このような設定で行ったのです

  • And so here I am,

    私が写っています

  • and on the bottom left, you can kind of see our high-speed camera,

    左下に高速度カメラが 設置されていて

  • which is pointed at a bag of chips,

    ポテトチップの袋に 向けられています

  • and the whole thing is lit by these bright lamps.

    そして全体が明るい照明で 照らされています

  • And like I said, we had to be very careful in these early experiments,

    申し上げたように初期の実験は 非常に慎重を期して進めました

  • so this is how it went down.

    これがその様子です

  • (Video) Abe Davis: Three, two, one, go.

    (男性の声) 3 2 1 ハイ

  • Mary had a little lamb! Little lamb! Little lamb!

    (デイヴィスが大声で) メリーさんの ヒツジ ヒツジ ヒツジ

  • (Laughter)

    (笑)

  • AD: So this experiment looks completely ridiculous.

    ご覧のように 馬鹿みたいに見える実験でした

  • (Laughter)

    (笑)

  • I mean, I'm screaming at a bag of chips --

    私がポテトチップの袋に向かって 大声を張り上げています

  • (Laughter) --

    (笑)

  • and we're blasting it with so much light,

    おまけにすごく強い照明を 当てていたので

  • we literally melted the first bag we tried this on. (Laughter)

    最初のポテトチップの袋は 熱で文字通り溶けてしまいました (笑)

  • But ridiculous as this experiment looks,

    しかし いかに馬鹿みたいに 見えようとも

  • it was actually really important,

    この実験はとても 重要なものでした

  • because we were able to recover this sound.

    このような音を取り出すことに 成功したからです

  • (Audio) Mary had a little lamb! Little lamb! Little lamb!

    Mary had a little lamb! Little lamb! Little lamb!

  • (Applause)

    (拍手)

  • AD: And this was really significant,

    とても重要な瞬間でした

  • because it was the first time we recovered intelligible human speech

    物を撮した 音声のない映像から

  • from silent video of an object.

    聞き取れる人の声を 初めて復元できたからです

  • And so it gave us this point of reference,

    この実験を基準点として

  • and gradually we could start to modify the experiment,

    私たちはいろいろ変化をつけた 実験を始めました

  • using different objects or moving the object further away,

    異なる物を使う 物をもっと離れたところに置く

  • using less light or quieter sounds.

    光を弱くする 音を小さくする

  • And we analyzed all of these experiments

    そういった実験の結果を 分析して

  • until we really understood the limits of our technique,

    この手法の限界を 見極めました

  • because once we understood those limits,

    ひとたび限界が分かれば

  • we could figure out how to push them.

    どう押し広げられるかも 分かるからです

  • And that led to experiments like this one,

    そうやってこんな実験に たどり着きました

  • where again, I'm going to speak to a bag of chips,

    ここでもポテトチップの袋に向けて 音を流しますが

  • but this time we've moved our camera about 15 feet away,

    今回はカメラが 5メートル離れていて

  • outside, behind a soundproof window,

    防音ガラスの 背後にあります

  • and the whole thing is lit by only natural sunlight.

    照らしている光も 自然の太陽光です

  • And so here's the video that we captured.

    ご覧いただいているのが 撮影した映像です

  • And this is what things sounded like from inside, next to the bag of chips.

    そしてこれが部屋の中で ポテトチップの袋の横で流していた音です

  • (Audio) Mary had a little lamb whose fleece was white as snow,

    Mary had a little lamb whose fleece was white as snow, (メリーさんは小さな羊を飼っていた 雪のように白い毛をして)

  • and everywhere that Mary went, that lamb was sure to go.

    and everywhere that Mary went, that lamb was sure to go. (メリーさんの行くところは どこにでも付いてきた)

  • AD: And here's what we were able to recover from our silent video

    そしてこれが 窓の背後から撮した

  • captured outside behind that window.

    無音の映像から 取り出した音声です

  • (Audio) Mary had a little lamb whose fleece was white as snow,

    Mary had a little lamb whose fleece was white as snow,

  • and everywhere that Mary went, that lamb was sure to go.

    and everywhere that Mary went, that lamb was sure to go.

  • (Applause)

    (拍手)

  • AD: And there are other ways that we can push these limits as well.

    限界を押し広げる方法は 他にもあります

  • So here's a quieter experiment

    こちらはもっと静かな実験で

  • where we filmed some earphones plugged into a laptop computer,

    ノートPCに繋いだ イヤホンを撮しています

  • and in this case, our goal was to recover the music that was playing on that laptop

    この時の目標は

  • from just silent video

    2つの小さなプラスチック製イヤホンを撮した 無音の映像から

  • of these two little plastic earphones,

    かけている曲を復元する ということでした

  • and we were able to do this so well

    これはすごく うまくいって

  • that I could even Shazam our results.

    結果から曲名を Shazamで当てることさえできました

  • (Laughter)

    (笑)

  • (Music: "Under Pressure" by Queen)

    (曲 クイーン 『アンダー・プレッシャー』)

  • (Applause)

    (拍手)

  • And we can also push things by changing the hardware that we use.

    使用するハードウェアという点でも 限界を押し広げることができます

  • Because the experiments I've shown you so far

    ここまで ご覧頂いた実験は

  • were done with a camera, a high-speed camera,

    どれも高速度カメラを使っていて

  • that can record video about a 100 times faster

    これは通常携帯についている カメラよりも

  • than most cell phones,

    100倍高速に 撮影することができます

  • but we've also found a way to use this technique

    しかし私たちは 普通のカメラで

  • with more regular cameras,

    この手法を使う方法も 見つけました

  • and we do that by taking advantage of what's called a rolling shutter.

    ローリングシャッターと呼ばれる技術を 利用しています

  • You see, most cameras record images one row at a time,

    多くのカメラは 画像を1行ずつ記録しています

  • and so if an object moves during the recording of a single image,

    1枚の画像の記録中に 撮影対象が動くと

  • there's a slight time delay between each row,

    各行に時間的な ズレがあるため

  • and this causes slight artifacts

    ビデオの各フレームに

  • that get coded into each frame of a video.

    小さなゆがみが 記録されることになります

  • And so what we found is that by analyzing these artifacts,

    このゆがみを分析したところ

  • we can actually recover sound using a modified version of our algorithm.

    アルゴリズムを改良すれば そこから音を復元できることが分かりました

  • So here's an experiment we did

    これが行った実験で

  • where we filmed a bag of candy

    キャンディの袋を撮し

  • while a nearby loudspeaker played

    横では同じ『メリーさんのひつじ』を

  • the same "Mary Had a Little Lamb" music from before,

    スピーカーで流していますが

  • but this time, we used just a regular store-bought camera,

    今回は お店で買える 普通のカメラを使っています

  • and so in a second, I'll play for you the sound that we recovered,

    これから取り出した音を お聞かせします

  • and it's going to sound distorted this time,

    音にひずみがありますが

  • but listen and see if you can still recognize the music.

    それでも何の曲か おわかりになると思います

  • (Audio: "Mary Had a Little Lamb")

    (曲 『メリーさんのひつじ』)

  • And so, again, that sounds distorted,

    音にひずみがあるにしても

  • but what's really amazing here is that we were able to do this

    これが意味深いのは

  • with something that you could literally run out

    家電量販店で買える 普通のカメラで

  • and pick up at a Best Buy.

    このようなことが できたということです

  • So at this point,

    ここまで ご覧頂いたことから

  • a lot of people see this work,

    多くの人が思い浮かべるのは

  • and they immediately think about surveillance.

    スパイ活動でしょう

  • And to be fair,

    確かに誰かをスパイするために この技術を使うというのは

  • it's not hard to imagine how you might use this technology to spy on someone.

    容易に想像できることですが

  • But keep in mind that there's already a lot of very mature technology

    考えてほしいのは スパイ活動に関しては多くの成熟した技術が

  • out there for surveillance.

    すでに存在する ということです

  • In fact, people have been using lasers

    実際 盗聴のために 遠くから物に レーザーを照射するというのは

  • to eavesdrop on objects from a distance for decades.

    何十年も前から 行われています

  • But what's really new here,

    私たちの技術が 本当に新しく

  • what's really different,

    違っている点は

  • is that now we have a way to picture the vibrations of an object,

    物の振動を見る方法を 手に入れたということで

  • which gives us a new lens through which to look at the world,

    これは世界を見る 新しいレンズになります

  • and we can use that lens

    このレンズを使うと

  • to learn not just about forces like sound that cause an object to vibrate,

    物を振動させる音のような力について 学べるだけでなく

  • but also about the object itself.

    物自体についても 学ぶことができます

  • And so I want to take a step back

    ここで視野を広げて

  • and think about how that might change the ways that we use video,

    これが私たちのビデオの使い方を いかに変えうるかを考えてみましょう

  • because we usually use video to look at things,

    通常私たちは物を見るために ビデオを使います

  • and I've just shown you how we can use it

    それから音を聞くためにも 使えることを

  • to listen to things.

    お見せしました

  • But there's another important way that we learn about the world:

    しかし私たちが世界について学ぶ重要な方法が もう1つあります

  • that's by interacting with it.

    働きかけることによってです

  • We push and pull and poke and prod things.

    押したり 引いたり つついたり 揺すったりして

  • We shake things and see what happens.

    何が起きるか見るのです

  • And that's something that video still won't let us do,

    これはビデオでは できないことです

  • at least not traditionally.

    少なくとも 普通のビデオでは

  • So I want to show you some new work,

    これからお見せするのは 最新の研究で

  • and this is based on an idea I had just a few months ago,

    ほんの2、3ヶ月前に思いついた アイデアを元にしています

  • so this is actually the first time I've shown it to a public audience.

    公の場で見せるのは これが初めてです

  • And the basic idea is that we're going to use the vibrations in a video

    基本的なアイデアは 映像の中の振動をヒントに

  • to capture objects in a way that will let us interact with them

    物の性質を取り出して

  • and see how they react to us.

    働きかけて反応を見られるような 形にするということです

  • So here's an object,

    これが対象とする物で

  • and in this case, it's a wire figure in the shape of a human,

    人の形をした 針金人形です

  • and we're going to film that object with just a regular camera.

    これを普通のカメラで ビデオ撮影します

  • So there's nothing special about this camera.

    カメラに特別なものは 使いません

  • In fact, I've actually done this with my cell phone before.

    実際 以前は私の携帯電話を 使っていました

  • But we do want to see the object vibrate,

    振動する様子を 見たいので

  • so to make that happen,

    撮影中に

  • we're just going to bang a little bit on the surface where it's resting

    人形が置かれている 台の上を

  • while we record this video.

    ちょっと叩いてやります

  • So that's it: just five seconds of regular video,

    これだけです 5秒間の普通のビデオで

  • while we bang on this surface,

    台を叩いています

  • and we're going to use the vibrations in that video

    この映像の中の 振動を使って

  • to learn about the structural and material properties of our object,

    物の構造的・物質的な性質について 学ぼうというのです

  • and we're going to use that information to create something new and interactive.

    そしてその情報を使って 新たなインタラクティブな物を作ります

  • And so here's what we've created.

    そうしてできたものが これです

  • And it looks like a regular image,

    何の変哲もない 画像に見えますが

  • but this isn't an image, and it's not a video,

    これは画像ではなく ビデオでもありません

  • because now I can take my mouse

    この人形はマウスを使って

  • and I can start interacting