interacting with the physical objects around us.

私たちは

There are an enormous number of them

身の回りのモノに触れて育ってきました

that we use every day.

私たちが日常生活で使うモノは

Unlike most of our computing devices,

ものすごく沢山あります

these objects are much more fun to use.

コンピュータ機器の多くとは違い

When you talk about objects,

日常生活のモノというのは 使うのが楽しいものです

one other thing automatically comes attached to that thing,

日常生活のモノについて話題にするとき

and that is gestures:

それに付随してくるものがもう１つあります

how we manipulate these objects,

ジェスチャーです

how we use these objects in everyday life.

それらのモノをどうやって扱うのか

We use gestures not only to interact with these objects,

実生活でそれらのモノをどう使うのか

but we also use them to interact with each other.

ジェスチャーはモノに対してだけ使うわけではありません

A gesture of "Namaste!", maybe, to respect someone,

人に対しても使います

or maybe --

「ナマステ！」のジェスチャーは 誰かに敬意を示すときにします

in India I don't need to teach a kid that this means

インドの子供なら

"four runs" in cricket.

これはクリケットの「4ラン」だと

It comes as a part of our everyday learning.

教えられなくとも知っています

So, I am very interested,

生活の中で自然に学び取るのです

from the beginning, that how --

私は早い時期に

how our knowledge

興味を持った事があります

about everyday objects and gestures,

「モノやジェスチャーに対する

and how we use these objects,

私たちの知識や

can be leveraged to our interactions with the digital world.

実生活でモノをどう使うかということが

Rather than using a keyboard and mouse,

デジタル世界をより良くするために役立てられないだろうか？」

why can I not use my computer

キーボードやマウスを使うかわりに

in the same way that I interact in the physical world?

日常的なジェスチャーで

So, I started this exploration around eight years back,

コンピュータを使うことはできないだろうか？

and it literally started with a mouse on my desk.

8年ほど前に私はこの探求を始めました

Rather than using it for my computer,

そして自分の机の上にあるマウスをまず手に取りました

I actually opened it.

それでコンピュータを使うというのではなく

Most of you might be aware that, in those days,

中を開けてみたのです

the mouse used to come with a ball inside,

マウスというのは

and there were two rollers

昔は中にボールが入っていました

that actually guide the computer where the ball is moving,

2つのローラーが

and, accordingly, where the mouse is moving.

マウスを動かしたときのボールの動きを

So, I was interested in these two rollers,

コンピュータに伝えるようになっています

and I actually wanted more, so I borrowed another mouse from a friend --

だから私はこの2つのローラーに興味を持ち

never returned to him --

もっと欲しくなって友達からもマウスを借りました

and I now had four rollers.

返すことはありませんでしたが

Interestingly, what I did with these rollers is,

これでローラーが4つになりました

basically, I took them off of these mouses

そのローラーを使って何をやったかというと

and then put them in one line.

マウスから取り外して

It had some strings and pulleys and some springs.

一列に並べ

What I got is basically a gesture interface device

紐と滑車とバネをつけたのです

that actually acts as a motion-sensing device

出来上がったのは ジェスチャーをインターフェイスとする装置で

made for two dollars.

モーションセンサの働きをします

So, here, whatever movement I do in my physical world

2ドルでできました

is actually replicated inside the digital world

私が実世界でした動きが

just using this small device that I made, around eight years back,

この小さな装置を通して

in 2000.

デジタル世界で再現されます

Because I was interested in integrating these two worlds,

2000年のことです

I thought of sticky notes.

2つの世界の統合に私は関心があって

I thought, "Why can I not connect

次に考えたのは付箋メモです

the normal interface of a physical sticky note

普段使っている付箋メモを

to the digital world?"

電子的な付箋メモへの

A message written on a sticky note to my mom

インタフェースにできないだろうか？

on paper

紙に書いたお母さん宛の

can come to an SMS,

メッセージが

or maybe a meeting reminder

SMSとして届き

automatically syncs with my digital calendar --

予定のメモが

a to-do list that automatically syncs with you.

自動的にデジタルの予定表と同期し

But you can also search in the digital world,

TODOリストも自動的に同期するという具合に

or maybe you can write a query, saying,

そうすると デジタル世界の中で検索することもでき

"What is Dr. Smith's address?"

「スミス先生の住所は？」

and this small system actually prints it out --

といった問い合わせもできます

so it actually acts like a paper input-output system,

結果は紙に印刷されて出てきます

just made out of paper.

これは入出力を紙でするシステムで

In another exploration,

紙だけが外に見えています

I thought of making a pen that can draw in three dimensions.

別な探求として

So, I implemented this pen

私は3次元に書けるペンというのも考えました

that can help designers and architects

そのペンがあれば

not only think in three dimensions,

デザイナや建築家が

but they can actually draw

3次元で考えるというだけでなく

so that it's more intuitive to use that way.

実際に3次元で書くこともでき

Then I thought, "Why not make a Google Map,

ずっと直感的に使えるはずです

but in the physical world?"

Google Mapsを日常生活の中に

Rather than typing a keyword to find something,

引っ張り出せないか？ とも思いました

I put my objects on top of it.

何かを探すために検索語を打ち込むのではなく

If I put a boarding pass, it will show me where the flight gate is.

モノをその上に載せるのです

A coffee cup will show where you can find more coffee,

搭乗チケットを載せれば ゲートへの道順を示してくれ

or where you can trash the cup.

コーヒーカップを置けば コーヒーを買える場所や

So, these were some of the earlier explorations I did because

ゴミ箱の場所を示すという具合です

the goal was to connect these two worlds seamlessly.

どれも私が初期にやった探求です

Among all these experiments,

私の目的はずっと2つの世界を継ぎ目なく結ぶということでした

there was one thing in common:

これらの実験にはどれも

I was trying to bring a part of the physical world to the digital world.

1つの共通点があります

I was taking some part of the objects,

身の回りの世界の一部をデジタル世界に持ってこようとしていることです

or any of the intuitiveness of real life,

モノの一部や

and bringing them to the digital world,

実生活の直感的な面を

because the goal was to make our computing interfaces more intuitive.

デジタル世界に持ち込んでいます

But then I realized that we humans

コンピュータをもっと直感的に使えるようにしたかったのです

are not actually interested in computing.

しかし私たちが興味を持っているのは

What we are interested in is information.

コンピュータ自体ではないということに気がつきました

We want to know about things.

私たちに関心があるのは コンピュータの中にある情報です

We want to know about dynamic things going around.

私たちは物事について知りたいと思います

So I thought, around last year -- in the beginning of the last year --

どんなことが起こっているのかを知りたいと思います

I started thinking, "Why can I not take this approach in the reverse way?"

それで去年の初めくらいから考えるようになりました

Maybe, "How about I take my digital world

「このアプローチを逆にすることはできないだろうか？」

and paint the physical world with that digital information?"

デジタル世界を取り出して

Because pixels are actually, right now, confined in these rectangular devices

日常生活の中に投影してみたらどうだろう？

that fit in our pockets.

ピクセルデータは このポケットに入る四角い装置の中に

Why can I not remove this confine

収められています

and take that to my everyday objects, everyday life

日常生活の世界へ

so that I don't need to learn the new language

それを解き放てるなら

for interacting with those pixels?

ピクセルをいじるために

So, in order to realize this dream,

新しい言語を覚える必要もなくなるのでは？

I actually thought of putting a big-size projector on my head.

この夢を実現しようと

I think that's why this is called a head-mounted projector, isn't it?

私は大きなプロジェクタを実際頭に載せてみました

I took it very literally,

ヘッドマウントプロジェクタというわけです

and took my bike helmet,

バイクのヘルメットに

put a little cut over there so that the projector actually fits nicely.

切り込みを入れて

So now, what I can do --

プロジェクタがうまく載るようにしました

I can augment the world around me with this digital information.

そうやって デジタル情報で

But later,

身の回りの現実を拡張できるようになりました

I realized that I actually wanted to interact with those digital pixels, also.

しかし後になって

So I put a small camera over there,

私はそのデジタル情報も操作したいと思うようになりました

that acts as a digital eye.

それでデジタルの目として

Later, we moved to a much better,

小さなカメラを付けました

consumer-oriented pendant version of that,

その後 もっと改良して

that many of you now know as the SixthSense device.

コンシューマ向けのペンダント型を作りました

But the most interesting thing about this particular technology

それがご存じのSixthSenseデバイスです

is that you can carry your digital world with you

このテクノロジーが特に興味深いのは

wherever you go.

自分の行くところはどこへでもデジタル世界を

You can start using any surface, any wall around you,

持っていくことができるという点です

as an interface.

どこか壁を見つけ それを操作面として

The camera is actually tracking all your gestures.

使うことができます

Whatever you're doing with your hands,

カメラがジェスチャーを捉え

it's understanding that gesture.

様々な身振りを

And, actually, if you see, there are some color markers

解釈します

that in the beginning version we are using with it.

初期のバージョンでは ご覧のような

You can start painting on any wall.

カラーマーカーを使っていました

You stop by a wall, and start painting on that wall.

どこの壁でもかまいません

But we are not only tracking one finger, here.

壁の前で立ち止まって投影します

We are giving you the freedom of using all of both of your hands,

追跡するのは一本の指だけではありません

so you can actually use both of your hands to zoom into or zoom out

両手の指がすべて使えます

of a map just by pinching all present.

だから地図を両手でつまんで

The camera is actually doing --

拡大 縮小ができます

just, getting all the images --

カメラで実際にやっているのは

is doing the edge recognition and also the color recognition

エッジ認識や

and so many other small algorithms are going on inside.

色彩認識そのほか沢山の

So, technically, it's a little bit complex,

細かいアルゴリズムによる処理です

but it gives you an output which is more intuitive to use, in some sense.

技術的には結構複雑なのですが

But I'm more excited that you can actually take it outside.

結果としては直感的に使えるものになっています

Rather than getting your camera out of your pocket,

これの楽しいところは 外に持ち出せるということです

you can just do the gesture of taking a photo

カメラをポケットから取り出すことなく

and it takes a photo for you.

ただ写真を撮るジェスチャーをするだけで

(Applause)

写真を撮してくれます

Thank you.

(拍手)

And later I can find a wall, anywhere,

どうも

and start browsing those photos

写真を撮ったら どこでも壁を見つけて

or maybe, "OK, I want to modify this photo a little bit

写真を映して見ることができます

and send it as an email to a friend."

「よし この写真にちょっと手を入れて

So, we are looking for an era where

友達にメールで送ってやろう」

computing will actually merge with the physical world.

私たちはコンピュータの世界と日常の世界が

And, of course, if you don't have any surface,

混じり合う時代を迎えようとしているのです

you can start using your palm for simple operations.

適当な壁がないときには

Here, I'm dialing a phone number just using my hand.

自分の手のひらの上で簡単な操作をすることもできます

The camera is actually not only understanding your hand movements,

手のひらでダイヤルしているところです

but, interestingly,

カメラは手の動きを認識するだけでなく

is also able to understand what objects you are holding in your hand.

さらには

What we're doing here is actually --

手に持っているモノを認識することもできます

for example, in this case,

たとえばここでやっているのは

the book cover is matched

手に取った本の表紙を

with so many thousands, or maybe millions of books online,

何千何万という

and checking out which book it is.

オンラインの情報と照合し

Once it has that information,

どの本かを調べています

it finds out more reviews about that,

どれかわかったら

or maybe New York Times has a sound overview on that,

その本のレビューを表示したり

so you can actually hear, on a physical book,

ニューヨークタイムズのサイトにある

a review as sound.

音声による解説を引っ張ってきて

("famous talk at Harvard University ...")

実際の本を手にしながら聞くことができます

This was Obama's visit last week to MIT.

(…ハーバード大学で行われた有名な講演で…)

("... and particularly I want to thank two outstanding MIT ...")

これはオバマ大統領が先週MITを訪れたときのものです

So, I was seeing the live [video] of his talk, outside, on just a newspaper.

(…特にMITの2人の傑出した教授にお礼を言いたい…)

Your newspaper will show you live weather information

私は彼の講演のライブビデオを 外で新聞の上で見ているわけです

rather than having it updated -- like, you have to check your computer

あるいはコンピュータを使わずに

in order to do that, right?

新聞でライブの天気情報を

(Applause)

見ることができます

When I'm going back, I can just use my boarding pass

(拍手)

to check how much my flight has been delayed,

私が帰るときには 搭乗チケットで

because at that particular time,

飛行機の遅れを

I'm not feeling like opening my iPhone,

確認できます

and checking out a particular icon.

iPhoneを取り出して

And I think this technology will not only change the way --

アイコンを叩くまでもありません

yes. (Laughter)

この技術は…

It will change the way we interact with people, also,

ええ (笑)

not only the physical world.

モノばかりでなく 人との関わり方も

The fun part is, I'm going to the Boston metro,

変えます

and playing a pong game inside the train

お遊びとして ボストンの地下鉄に乗って

on the ground, right?

電車の床で卓球ゲームを

(Laughter)

することだって出来ます

And I think the imagination is the only limit

(笑)

of what you can think of

このようなテクノロジーが生活に溶け込むとき

when this kind of technology merges with real life.

できることを制限するものは

But many of you argue, actually, that

自らの想像力だけです

all of our work is not only about physical objects.

私たちが扱うのは

We actually do lots of accounting and paper editing

日常生活のモノばかりではないと言う人もいるでしょう

and all those kinds of things; what about that?

実際 会計とか編集とか

And many of you are excited about the next generation tablet computers

いろんなことをします

to come out in the market.

そしてあなた方の多くは 次世代のタブレットPCが市場に登場するのを

So, rather than waiting for that,

心待ちにしていることでしょう

I actually made my own, just using a piece of paper.

私はそれをただ待っているのではなく

So, what I did here is remove the camera --

自分のを紙切れを使って作ることにしました

All the webcam cameras have a microphone inside the camera.

私がやったのは

I removed the microphone from that,

Webカメラにはマイクが入っているのですが

and then just pinched that --

それを取り出して

like I just made a clip out of the microphone --

クリップにして

and clipped that to a piece of paper, any paper that you found around.

紙に付けられるようにしました

So now the sound of the touch

どんな紙でも使えます

is getting me when exactly I'm touching the paper.

そうすると紙にタッチしたときに

But the camera is actually tracking where my fingers are moving.

タッチ音が出るようにできます

You can of course watch movies.

実際の指の動きはカメラが把握します

("Good afternoon. My name is Russell ...

もちろん映画だって見ることができます

and I am a Wilderness Explorer in Tribe 54.")

(こんにちは 僕はラッセル

And you can of course play games.

荒野探検隊 第54隊の隊員です)

(Car engine)

それにゲームも

Here, the camera is actually understanding how you're holding the paper

(エンジン音)

and playing a car-racing game.

ここでは紙をどう持っているかをカメラが把握して

(Applause)

レーシングゲームを操作しています

Many of you already must have thought, OK, you can browse.

(拍手)

Yeah. Of course you can browse to any websites

見ることができることについては

or you can do all sorts of computing on a piece of paper

お分りいただけたと思います

wherever you need it.

Webサイトやコンピュータ画面を 紙切れの上で見ることができます

So, more interestingly,

どこにいようと

I'm interested in how we can take that in a more dynamic way.

もっと面白いのは

When I come back to my desk I can just pinch that information

これをもっと生きたものにするということです

back to my desktop

自分の部屋に戻ったとき 情報をつまんで

so I can use my full-size computer.

パソコンの上に落としてやれば

(Applause)

続きを大きなパソコンでやることができます

And why only computers? We can just play with papers.

(拍手)

Paper world is interesting to play with.

コンピュータだけではありません 紙にもできます

Here, I'm taking a part of a document

紙の世界で遊ぶのはとても面白いです

and putting over here a second part from a second place --

資料の一部をこちらに取って

and I'm actually modifying the information

別なところからも何か取ってきて

that I have over there.

情報をその場で

Yeah. And I say, "OK, this looks nice,

修正できます

let me print it out, that thing."

「よし いい感じにできたぞ