everything you said, everything you did,

どんな発言も どんな振る舞いも

available in a perfect memory store at your fingertips,

手近な記憶装置に残しておけたら

so you could go back

過去に戻って

and find memorable moments and relive them,

心に残る思い出を 再生したり

or sift through traces of time

時間の流れを精査することで

and discover patterns in your own life

見過ごしていた

that previously had gone undiscovered.

生活パターンを見つけたりできます

Well that's exactly the journey

それこそ まさに

that my family began

私たち一家が

five and a half years ago.

５年半前に始めた旅なのです

This is my wife and collaborator, Rupal.

妻と 協力者ルーパルです

And on this day, at this moment,

この日 この時

we walked into the house with our first child,

第一子を迎え入れました

our beautiful baby boy.

かわいい男の子です

And we walked into a house

家には かなり特殊な

with a very special home video recording system.

ホームビデオの撮影機材を取り付けました

(Video) Man: Okay.

「じゃあ撮るよ」

Deb Roy: This moment

ほかにも

and thousands of other moments special for us

我が家の貴重な瞬間を

were captured in our home

たっぷり撮影しました

because in every room in the house,

どの部屋にも

if you looked up, you'd see a camera and a microphone,

見上げればカメラとマイクがあって

and if you looked down,

そこから下を眺めれば

you'd get this bird's-eye view of the room.

部屋を一望できます

Here's our living room,

リビング

the baby bedroom,

赤ちゃんの寝室

kitchen, dining room

キッチン ダイニング

and the rest of the house.

残りの部屋も

And all of these fed into a disc array

ディスク記録装置に全部送って

that was designed for a continuous capture.

継続的に記録しました

So here we are flying through a day in our home

一日の流れを見渡せます

as we move from sunlit morning

日の差す明け方から

through incandescent evening

燃えるような夕刻を迎え

and, finally, lights out for the day.

消灯して 一日を終えます

Over the course of three years,

３年間

we recorded eight to 10 hours a day,

毎日 ８から10時間

amassing roughly a quarter-million hours

合計 約25万時間に及ぶ

of multi-track audio and video.

マルチトラックの音声と映像の記録です

So you're looking at a piece of what is by far

史上初の 壮大な

the largest home video collection ever made.

ホームビデオ全集なのです

(Laughter)

（笑い）

And what this data represents

私たち家族は

for our family at a personal level,

意義ある記録だと感じています

the impact has already been immense,

大きな衝撃を受けながら

and we're still learning its value.

今も 真価を探っています

Countless moments

意識せず 自然体で

of unsolicited natural moments, not posed moments,

身構えもしない膨大な時間が

are captured there,

記録されていますので

and we're starting to learn how to discover them and find them.

どう調べるか検討を始めたところです

But there's also a scientific reason that drove this project,

この取り組みには 科学的理由もあります

which was to use this natural longitudinal data

時系列に連なる この生データから

to understand the process

子どもの言語習得の過程を

of how a child learns language --

把握したいのです

that child being my son.

対象は 私の息子です

And so with many privacy provisions put in place

プライバシー保護規定を設けて

to protect everyone who was recorded in the data,

被写体のプライバシーを守ったうえで

we made elements of the data available

データを 部分的に参照可能にして

to my trusted research team at MIT

MITの信頼できる研究チームに開放しました

so we could start teasing apart patterns

こうして 一連の膨大なデータから

in this massive data set,

パターンを抽出できるようになり

trying to understand the influence of social environments

言語習得過程における社会環境の影響を探る―

on language acquisition.

挑戦が始まりました

So we're looking here

ご覧いただいているのは

at one of the first things we started to do.

初めて手をつけた解析です

This is my wife and I cooking breakfast in the kitchen,

キッチンで妻と私が朝食を作っています

and as we move through space and through time,

空間的・時間的に眺めると

a very everyday pattern of life in the kitchen.

キッチンでの毎日の生活パターンが現れます

In order to convert

この とらえ所のない

this opaque, 90,000 hours of video

９万時間の映像を

into something that we could start to see,

理解可能にするため

we use motion analysis to pull out,

動作分析の手法を使って

as we move through space and through time,

空間軸と時間軸でとらえ

what we call space-time worms.

「時空の虫」を描き出しました

And this has become part of our toolkit

このツールを使うと

for being able to look and see

活動が生じたデータ位置を

where the activities are in the data,

把握できます

and with it, trace the pattern of, in particular,

特に 子どもの動き回るパターンを

where my son moved throughout the home,

追跡できるので

so that we could focus our transcription efforts,

書き起こしに専念できました

all of the speech environment around my son --

息子を取り巻く会話環境

all of the words that he heard from myself, my wife, our nanny,

私 妻 おばあさんが口にした言葉

and over time, the words he began to produce.

やがて息子の口から出る言葉 すべてです

So with that technology and that data

この技術があって データがあって

and the ability to, with machine assistance,

装置も使って

transcribe speech,

会話を書き起こせたので

we've now transcribed

家族の発した言葉を

well over seven million words of our home transcripts.

700万以上書き起こせました

And with that, let me take you now

その成果を使って 初めて

for a first tour into the data.

データの旅へご案内いたします

So you've all, I'm sure,

低速度撮影の映像は

seen time-lapse videos

経験があると思います

where a flower will blossom as you accelerate time.

早送りで開花を見せる映像です

I'd like you to now experience

今回は 言葉の開花に

the blossoming of a speech form.

立ち会っていただきます

My son, soon after his first birthday,

息子は１歳になってすぐ

would say "gaga" to mean water.

ウォーター (water) をガガ (gaga)と言い

And over the course of the next half-year,

それから半年かけて ゆっくりと

he slowly learned to approximate

大人のように正確な

the proper adult form, "water."

ウォーター (water)に近づきました

So we're going to cruise through half a year

では 半年間を

in about 40 seconds.

40秒で体験します

No video here,

映像はありません

so you can focus on the sound, the acoustics,

初となる 音の軌跡に

of a new kind of trajectory:

耳を澄ませてください

gaga to water.

ガガ (gaga) から ウォーター (water) へ

(Audio) Baby: Gagagagagaga

（赤ちゃん）「Gagagagagaga」

Gaga gaga gaga

「Gaga gaga gaga」

guga guga guga

「guga guga guga」

wada gaga gaga guga gaga

「wada gaga gaga guga gaga」

wader guga guga

「wader guga guga」

water water water

「water water water」

water water water

「water water water」

water water

「water water」

water.

「water.」

DR: He sure nailed it, didn't he.

大成功です

(Applause)

（拍手）

So he didn't just learn water.

ウォーターだけではありません

Over the course of the 24 months,

24ヶ月 つまり

the first two years that we really focused on,

最初の２年間に絞って

this is a map of every word he learned in chronological order.

習得した言葉を 年代順に並べました

And because we have full transcripts,

一字一句 書き起こして

we've identified each of the 503 words

２歳になるまでに 口にした

that he learned to produce by his second birthday.

全503語を確認しました

He was an early talker.

息子は 早い方です

And so we started to analyze why.

こんな分析も始めました

Why were certain words born before others?

なぜ ある語が ほかの語より先なのか？

This is one of the first results

こちらは １年少し前の

that came out of our study a little over a year ago

初期の研究成果の一つです

that really surprised us.

驚きの結果です

The way to interpret this apparently simple graph

一見シンプルですが 説明しますと

is, on the vertical is an indication

縦軸は 周囲の人が話す

of how complex caregiver utterances are

会話の複雑さです

based on the length of utterances.

基準は会話の長さです

And the [horizontal] axis is time.

横軸は時間です

And all of the data,

データはすべて

we aligned based on the following idea:

こんな手法で導き出しました

Every time my son would learn a word,

習得した言葉ごとに

we would trace back and look at all of the language he heard

その言葉を使った過去の会話を

that contained that word.

すべて洗い出して

And we would plot the relative length of the utterances.

会話文の相対的な長さをプロットしたのです

And what we found was this curious phenomena,

すると 面白いことに

that caregiver speech would systematically dip to a minimum,

きまって 大人は語数を減らし

making language as simple as possible,

できるだけ短くしてから

and then slowly ascend back up in complexity.

ゆっくりと複雑な言葉遣いに戻します

And the amazing thing was

驚いたことに

that bounce, that dip,

折り返し地点は

lined up almost precisely

その言葉を口にした時期と

with when each word was born --

ほぼ一致するのです

word after word, systematically.

どの言葉も 同じです

So it appears that all three primary caregivers --

つまり ３人の大人たち―

myself, my wife and our nanny --

私 妻 おばあさん のだれもが

were systematically and, I would think, subconsciously

いつも 何げなく

restructuring our language

言葉遣いを調整してあげて

to meet him at the birth of a word

息子がその言葉を口にしたら

and bring him gently into more complex language.

もっと複雑な言葉へ そっと導いていたのです

And the implications of this -- there are many,

示唆に富む結果ですが

but one I just want to point out,

伝えたいのは一点

is that there must be amazing feedback loops.

見事なフィードバック・ループが形成されていること

Of course, my son is learning

息子が 周りの言語環境から

from his linguistic environment,

学習している一方で

but the environment is learning from him.

言語環境も 息子から学習しているのです

That environment, people, are in these tight feedback loops

言語環境 つまり人が 堅固なループに加わり

and creating a kind of scaffolding

足場を固めているのです

that has not been noticed until now.

今まで 気付いた人はいません

But that's looking at the speech context.

以上は 話の環境です

What about the visual context?

視覚的な環境はどうか？

We're not looking at --

模型のように

think of this as a dollhouse cutaway of our house.

我が家をのぞいてみます

We've taken those circular fish-eye lens cameras,

魚眼レンズで撮影した映像を

and we've done some optical correction,

光学的に修正して

and then we can bring it into three-dimensional life.

三次元の世界に仕上げました

So welcome to my home.

ようこそ 我が家へ

This is a moment,

これは ある瞬間を

one moment captured across multiple cameras.

複数台で横断的にとらえた映像です

The reason we did this is to create the ultimate memory machine,

過去に戻って 自由に飛び回れる

where you can go back and interactively fly around

究極の記憶装置を

and then breathe video-life into this system.

実現させたかったのです

What I'm going to do

今から

is give you an accelerated view of 30 minutes,

30分を早送りで見ていただきます

again, of just life in the living room.

リビングの様子です

That's me and my son on the floor.

私と息子が 床にいます

And there's video analytics

映像解析で

that are tracking our movements.

二人の動きを追います

My son is leaving red ink. I am leaving green ink.

息子は赤　私は緑

We're now on the couch,

ソファーに移りました

looking out through the window at cars passing by.

窓から 車が走るのを眺めています

And finally, my son playing in a walking toy by himself.

最後は一人で歩行器に乗りました

Now we freeze the action, 30 minutes,

30分の動きを一つにまとめて

we turn time into the vertical axis,

上下に時間軸をとれば

and we open up for a view

ふれあいの軌跡を

of these interaction traces we've just left behind.

見ることができます

And we see these amazing structures --

驚くような形状が現れました

these little knots of two colors of thread

二色が絡み合っているのは

we call "social hot spots."

ふれあいの強い場所です

The spiral thread

らせんになっているのは

we call a "solo hot spot."

単独行動の場所です

And we think that these affect the way language is learned.

これは言語学習過程に影響を及ぼすと

What we'd like to do

考えられます

is start understanding

このパターンと

the interaction between these patterns

息子の耳に入る言葉との

and the language that my son is exposed to

関係を探ることによって

to see if we can predict

言葉を耳にする時期が

how the structure of when words are heard

習得時期に及ぼす影響を

affects when they're learned --

予測できるか探りたいのです

so in other words, the relationship

つまり 言葉と

between words and what they're about in the world.

言葉が表す現実との関係です

So here's how we're approaching this.

やり方を紹介しましょう

In this video,

この映像でも

again, my son is being traced out.

息子を追います

He's leaving red ink behind.

赤い線です

And there's our nanny by the door.

おばあさんはドアの前です

(Video) Nanny: You want water? (Baby: Aaaa.)

「ウォーター（water）いる？」「アァー（Aaaa）」

Nanny: All right. (Baby: Aaaa.)

「いいわよ」「アー（Aaaa）」

DR: She offers water,

水が欲しいか尋ねてから

and off go the two worms

二つの「虫」が

over to the kitchen to get water.

キッチンまでつながりました

And what we've done is use the word "water"

そこで「ウォーター」の語を

to tag that moment, that bit of activity.

この瞬間と結びつけました

And now we take the power of data

データの力を活用して

and take every time my son

ウォーターを耳にした

ever heard the word water

時と場所に

and the context he saw it in,

注目して

and we use it to penetrate through the video

映像全体から

and find every activity trace

ウォーターに絡む行動の軌跡を

that co-occurred with an instance of water.

すべて抽出しました

And what this data leaves in its wake

データ処理後に残る―

is a landscape.

ランドスケープ（地形）が

We call these wordscapes.

ワードスケープ（言葉の地形）です

This is the wordscape for the word water,

ウォーターの場合

and you can see most of the action is in the kitchen.

キッチンを中心に動いています

That's where those big peaks are over to the left.

左奥の高いピークの所です

And just for contrast, we can do this with any word.

ほかの言葉と対比することもできます

We can take the word "bye"

グッバーイ（good bye）の

as in "good bye."

バーイ（bye）はどうでしょう

And we're now zoomed in over the entrance to the house.

今回は玄関を見てみます

And we look, and we find, as you would expect,

予想どおりのランドスケープが現れます

a contrast in the landscape

バーイ（bye）の軌跡は

where the word "bye" occurs much more in a structured way.

一層わかりやすい形をしています

So we're using these structures

これらの形状を参考に

to start predicting

言葉の習得順序を

the order of language acquisition,

予測することにしました

and that's ongoing work now.

これは現在進行中です

In my lab, which we're peering into now, at MIT --

これは今の 私の研究室です

this is