in other words, the engineering discipline of making computers and devices

私はGoogleで 機械知能に取り組む 開発チームを率いています

able to do some of the things that brains do.

機械知能とは コンピューターや いろいろな種類の端末に

And this makes us interested in real brains

人間の脳のような機能を 持たせるための技術です

and neuroscience as well,

仕事上 私たちは 人間の脳の働きや

and especially interested in the things that our brains do

神経科学に関心があり

that are still far superior to the performance of computers.

脳が未だコンピューターより はるかに優れている領域に

Historically, one of those areas has been perception,

特に興味を持っています

the process by which things out there in the world --

そのような領域として 古くから認識されていたのは 知覚です

sounds and images --

知覚とは 外界に存在するもの―

can turn into concepts in the mind.

つまり 音や映像のようなものを

This is essential for our own brains,

心の中の概念に 変えるプロセスです

and it's also pretty useful on a computer.

これは 人間の脳に 本質的に備わっている能力ですが

The machine perception algorithms, for example, that our team makes,

コンピューターにも 有用なものです

are what enable your pictures on Google Photos to become searchable,

例えば 私の部署で作っている 機械知覚アルゴリズムは

based on what's in them.

Googleフォトの画像を

The flip side of perception is creativity:

写っているものに基づいて 検索できるようにする技術です

turning a concept into something out there into the world.

一方 知覚と対照的なものに 創造性があります

So over the past year, our work on machine perception

創造性とは 概念を 何かの形で世に生み出すことです

has also unexpectedly connected with the world of machine creativity

この１年の我々の 機械知覚への取り組みの中で

and machine art.

コンピューターによる創造 「機械芸術」の世界との

I think Michelangelo had a penetrating insight

意外な接点を見ました

into to this dual relationship between perception and creativity.

ミケランジェロには 先見の明があり

This is a famous quote of his:

この「知覚と創造の二重の関係」を 見ていたのだと思います

"Every block of stone has a statue inside of it,

彼は 有名な言葉を残しています

and the job of the sculptor is to discover it."

「どんな石の塊にも 彫像が隠れており

So I think that what Michelangelo was getting at

彫刻家の仕事は その像を見出すことである」

is that we create by perceiving,

ミケランジェロが気づいていたのは

and that perception itself is an act of imagination

我々は 知覚によって 創造しているということで

and is the stuff of creativity.

知覚自体が 想像する行為であり

The organ that does all the thinking and perceiving and imagining,

創造的なものだということです

of course, is the brain.

人体の中で 思考 知覚 想像を行う器官は

And I'd like to begin with a brief bit of history

言うまでもなく 脳です

about what we know about brains.

そこで 脳科学の歩みについて

Because unlike, say, the heart or the intestines,

簡単に振り返りましょう

you really can't say very much about a brain by just looking at it,

心臓や腸などとは違い

at least with the naked eye.

脳については 外観からは 分からないことが多いからです

The early anatomists who looked at brains

少なくとも 肉眼で見た場合には

gave the superficial structures of this thing all kinds of fanciful names,

脳に注目した 昔の解剖学者たちは

like hippocampus, meaning "little shrimp."

脳の外部構造を見て しゃれた名前を付けました

But of course that sort of thing doesn't tell us very much

例えば「海馬」 これは タツノオトシゴのことです

about what's actually going on inside.

しかし そのように付けられた名前は

The first person who, I think, really developed some kind of insight

その働きについて ほとんど何も示していません

into what was going on in the brain

脳内で起きていることについて 本当の知見を初めて得たのは

was the great Spanish neuroanatomist, Santiago Ramón y Cajal,

19世紀の 偉大な スペイン人神経解剖学者

in the 19th century,

サンティアゴ・ラモン・イ・カハールだと

who used microscopy and special stains

私は思います

that could selectively fill in or render in very high contrast

彼は顕微鏡と 選択的に染める特殊な染料を使って

the individual cells in the brain,

脳内の個々の細胞を 非常にはっきりした形で

in order to start to understand their morphologies.

見られるようにし

And these are the kinds of drawings that he made of neurons

そこから 形態学的理解が 進むようになりました

in the 19th century.

19世紀に 彼が描いた 神経のイメージは

This is from a bird brain.

このようなものでした

And you see this incredible variety of different sorts of cells,

これは 鳥の脳です

even the cellular theory itself was quite new at this point.

このように 驚くほど 多様な細胞があります

And these structures,

当時は 細胞説自体が ごく新しいものでした

these cells that have these arborizations,

この構造 この細胞には

these branches that can go very, very long distances --

樹状突起があります

this was very novel at the time.

この突起は 非常に長く伸びうるのですが

They're reminiscent, of course, of wires.

これも 当時は目新しいことでした

That might have been obvious to some people in the 19th century;

樹状突起は 配線のようにも見えます

the revolutions of wiring and electricity were just getting underway.

このことは 19世紀の一部の人には 一目瞭然だったかもしれません

But in many ways,

電気による革命が進み 配線が普及し始めた時代だったからです

these microanatomical drawings of Ramón y Cajal's, like this one,

しかし いろいろな面で

they're still in some ways unsurpassed.

ラモン・イ・カハールが提示した 微細解剖学的な図は

We're still more than a century later,

ある意味 今なお越えられていません

trying to finish the job that Ramón y Cajal started.

１世紀を経た今も 我々は

These are raw data from our collaborators

ラモン・イ・カハールが始めた仕事を 完成させようと試み続けています

at the Max Planck Institute of Neuroscience.

これは 我々が提携している

And what our collaborators have done

マックス・プランク神経科学研究所による 生のデータです

is to image little pieces of brain tissue.

彼らが行ったのは

The entire sample here is about one cubic millimeter in size,

脳の組織の小さな断片を 可視化するということです

and I'm showing you a very, very small piece of it here.

この試料全体の大きさは １立方ミリメートルで

That bar on the left is about one micron.

今 お見せしているのは そのごく一部です

The structures you see are mitochondria

左の棒の長さが １ミクロンです

that are the size of bacteria.

ご覧の構造は ミトコンドリアで

And these are consecutive slices

大きさとしては バクテリアと同程度です

through this very, very tiny block of tissue.

ごく小さな組織片の

Just for comparison's sake,

連続的断面を映しています

the diameter of an average strand of hair is about 100 microns.

比較のために言うと

So we're looking at something much, much smaller

髪の毛の直径は 平均約100ミクロンです

than a single strand of hair.

ご覧のものは 髪の毛の直径よりも

And from these kinds of serial electron microscopy slices,

はるかに小さいんです

one can start to make reconstructions in 3D of neurons that look like these.

このような 電子顕微鏡による 連続断面像から

So these are sort of in the same style as Ramón y Cajal.

ニューロンの３次元像を 再構成できます

Only a few neurons lit up,

ここでは ラモン・イ・カハールが したのと同じように

because otherwise we wouldn't be able to see anything here.

ごく一部のニューロンだけを示しています

It would be so crowded,

そうしなければ あまりに密集していて

so full of structure,

わけが分からなくなってしまいます

of wiring all connecting one neuron to another.

ニューロンは 互いに結合し合った —

So Ramón y Cajal was a little bit ahead of his time,

非常に複雑な構造をしているためです

and progress on understanding the brain

ラモン・イ・カハールは 時代の先を行っていて

proceeded slowly over the next few decades.

脳に対する理解は

But we knew that neurons used electricity,

その後の数十年で ゆっくりと進んでいきました

and by World War II, our technology was advanced enough

やがて ニューロンは 電気を使っていることが発見され

to start doing real electrical experiments on live neurons

第二次世界大戦の頃には

to better understand how they worked.

仕組みの解明のため 生きたニューロンを使って

This was the very same time when computers were being invented,

電気的な実験ができるくらいに 技術が進歩しました

very much based on the idea of modeling the brain --

ほぼ同時期に コンピューターも発明されましたが

of "intelligent machinery," as Alan Turing called it,

これは 人間の脳をモデル化するという アイデアに基づいていました

one of the fathers of computer science.

コンピュータ科学の父の１人である アラン・チューリングは

Warren McCulloch and Walter Pitts looked at Ramón y Cajal's drawing

これを「知的機械」と呼びました

of visual cortex,

そしてウォーレン・マカロックと ウォルター・ピッツが

which I'm showing here.

ラモン・イ・カハールの 視覚野の図に 目を向けました

This is the cortex that processes imagery that comes from the eye.

今 ここでお見せしているものです

And for them, this looked like a circuit diagram.

これは 目から受け取ったイメージを 処理する皮質です

So there are a lot of details in McCulloch and Pitts's circuit diagram

２人には これが 回路図のように見えました

that are not quite right.

マカロックとピッツの回路図の 細かい部分には

But this basic idea

間違いが たくさんありますが

that visual cortex works like a series of computational elements

その基本的な概念

that pass information one to the next in a cascade,

つまり 視覚野は一連の 計算要素のように働き

is essentially correct.

段階的に情報を 受け渡していくという概念は

Let's talk for a moment

本質的に正しいものでした

about what a model for processing visual information would need to do.

ここで 少し時間を取って

The basic task of perception

視覚情報処理が どんなことをするのか 説明しようと思います

is to take an image like this one and say,

知覚の基本的な仕事は

"That's a bird,"

このような画像を見て 識別をすることです

which is a very simple thing for us to do with our brains.

「あれは鳥だ」と

But you should all understand that for a computer,

人間の脳は この処理を簡単にやってのけますが

this was pretty much impossible just a few years ago.

コンピューターにとっては難問で

The classical computing paradigm

数年前までは ほとんど不可能でした

is not one in which this task is easy to do.

従来の コンピューターの構造は

So what's going on between the pixels,

こういうタスクには不向きなんです

between the image of the bird and the word "bird,"

鳥のピクセル画像と

is essentially a set of neurons connected to each other

「鳥」という言葉の間にあるのは

in a neural network,

ニューラルネットワークの中の

as I'm diagramming here.

結合しあった 一連のニューロンです

This neural network could be biological, inside our visual cortices,

図示すると こうなります

or, nowadays, we start to have the capability

このニューラルネットワークは 視覚野内に生物学的なものとして存在し

to model such neural networks on the computer.

また最近では コンピューター上に

And I'll show you what that actually looks like.

モデル化できるようになりました

So the pixels you can think about as a first layer of neurons,

どのように動作するか お見せしましょう

and that's, in fact, how it works in the eye --

画像は ニューロンの 第１層を示しています

that's the neurons in the retina.

これは目で言うと

And those feed forward

網膜内のニューロンに相当します

into one layer after another layer, after another layer of neurons,

情報は

all connected by synapses of different weights.

ニューロンの１つの層から別の層へと 次々と受け渡され

The behavior of this network

ニューロン同士は 重みの異なる シナプスでつながれています

is characterized by the strengths of all of those synapses.

このネットワークの動作は

Those characterize the computational properties of this network.

シナプス結合の 強さによって変わり

And at the end of the day,

それが ネットワークの 計算的特徴を決めます

you have a neuron or a small group of neurons

そうして最終的には

that light up, saying, "bird."

少数のニューロン群が反応し

Now I'm going to represent those three things --

「鳥」だと認識されます

the input pixels and the synapses in the neural network,

ここで３つの対象物 ―

and bird, the output --

入力されたピクセル ニューラルネットワーク内のシナプス

by three variables: x, w and y.

出力である「鳥」

There are maybe a million or so x's --

この３つを 「ｘ」「ｗ」「ｙ」と置きましょう

a million pixels in that image.

ｘは 画像中のピクセルなので

There are billions or trillions of w's,

100万個くらいあり

which represent the weights of all these synapses in the neural network.

ｗは数十億から数兆個

And there's a very small number of y's,

ニューラルネット内の全シナプスの 結合強度を表します

of outputs that that network has.

このネットワークからの 出力である

"Bird" is only four letters, right?

ｙの個数はごくわずかです

So let's pretend that this is just a simple formula,

「bird」は たった４文字ですよね？

x "x" w = y.

ここで 次の簡単な式が 成立すると仮定します

I'm putting the times in scare quotes

ｘ “×” ｗ ＝ｙ

because what's really going on there, of course,

「かける」に引用符を付けたのは

is a very complicated series of mathematical operations.

この場面で実行される演算は

That's one equation.

実際には 非常に複雑な 数学的な計算だからです

There are three variables.

１つの方程式があって

And we all know that if you have one equation,

３個の変数があります

you can solve one variable by knowing the other two things.

ご存じのように ３つの変数のうち ２つの値が分かれば

So the problem of inference,

残りの変数の値も求められます

that is, figuring out that the picture of a bird is a bird,

ここでの問題は

is this one:

鳥の画像から

it's where y is the unknown and w and x are known.

それが鳥だと推論する ということでした

You know the neural network, you know the pixels.

つまり y が未知で ｘとｗが分かっています

As you can see, that's actually a relatively straightforward problem.

画像 x と ネットワーク w は 与えられています

You multiply two times three and you're done.

ご覧のように 比較的単純な問題です

I'll show you an artificial neural network

２と３を掛け合わせれば 答えは出ます

that we've built recently, doing exactly that.

我々が最近構築した ニューラルネットワークでは

This is running in real time on a mobile phone,

まさに これを実行しています

and that's, of course, amazing in its own right,

携帯電話上で リアルタイムで処理をしています

that mobile phones can do so many billions and trillions of operations

こんなに すごいことができるのも

per second.

現在の携帯電話では １秒当たり 数十億～数兆の命令を

What you're looking at is a phone

実行できるからです

looking at one after another picture of a bird,

ご覧いただいているのは

and actually not only saying, "Yes, it's a bird,"

携帯電話で次々に出す 鳥の画像に対し

but identifying the species of bird with a network of this sort.

ニューラルネットが 「これは鳥だ」と言うだけでなく

So in that picture,

鳥の種類まで 特定しているところです

the x and the w are known, and the y is the unknown.

この式で言うと

I'm glossing over the very difficult part, of course,

ｘとｗが既知で ｙが未知の場合です

which is how on earth do we figure out the w,

ここで 難しい部分を はしょっていました

the brain that can do such a thing?

ｗは そもそも どうやって求めたらいいのか

How would we ever learn such a model?

脳がやっているようなことですが

So this process of learning, of solving for w,

人間は どうやって学ぶのでしょう？

if we were doing this with the simple equation

この学習プロセス ｗを解くという問題は

in which we think about these as numbers,

変数が数値の 簡単な式であれば

we know exactly how to do that: 6 = 2 x w,

どうすればよいか分かります

well, we divide by two and we're done.

６＝２×ｗ を解くには

The problem is with this operator.

両辺を２で割れば済みます

So, division --

ここで問題になるのは この演算子です

we've used division because it's the inverse to multiplication,

今 割り算をしましたが

but as I've just said,

それは割り算が 掛け算の逆演算だからです

the multiplication is a bit of a lie here.

しかし 先ほど言ったとおり

This is a very, very complicated, very non-linear operation;

掛け算と見るのには ウソがあり

it has no inverse.

実際には とても複雑な非線形演算で

So we have to figure out a way to solve the equation

逆演算が存在しません

without a division operator.

だから 除算演算子を使わずに

And the way to do that is fairly straightforward.

これを解かなければなりません

You just say, let's play a little algebra trick,

でも そのやり方はそう難しくありません

and move the six over to the right-hand side of the equation.

代数学的な ちょっとしたワザを使うんです

Now, we're still using multiplication.

まず「６」を式の右辺に移します

And that zero -- let's think about it as an error.

依然として乗算を使っています

In other words, if we've solved for w the right way,

そして 左辺の「０」を誤差と考えます

then the error will be zero.

つまり ｗを正しく求められれば

And if we haven't gotten it quite right,

誤差の値は０になります

the error will be greater than zero.

ｗの値が 正しくない場合

So now we can just take guesses to minimize the error,

誤差は０より大きくなります

and that's the sort of thing computers are very good at.

誤差の値が最小になるよう 推量をします

So you've taken an initial guess:

こういう処理なら コンピューターは大得意です

what if w = 0?

最初の推測値として

Well, then the error is 6.

ｗ＝０では どうでしょう？

What if w = 1? The error is 4.

誤差は６です

And then the computer can sort of play Marco Polo,

ｗ＝１の場合 誤差は４

and drive down the error close to zero.

マルコ・ポーロ式鬼ごっこのような調子で

As it does that, it's getting successive approximations to w.

誤差を０に近づけていき

Typically, it never quite gets there, but after about a dozen steps,

そうやってｗの近似値を求めます

we're up to w = 2.999, which is close enough.

通常 正解そのものにたどり着くことは ありませんが

And this is the learning process.

数十回繰り返すと ｗ＝2.999のような 十分近い値が求まります

So remember that what's been going on here

これが 学習プロセスです

is that we've been taking a lot of known x's and known y's

ここで改めて 思い出してください

and solving for the w in the middle through an iterative process.

私たちがやっていたのは 既知の ｘとｙに対し

It's exactly the same way that we do our own learning.

反復的プロセスによって 真ん中の ｗの値を求めるということです

We have many, many images as babies

これは人間がものごとを学習するのと 同じやり方です

and we get told, "This is a bird; this is not a bird."

赤ちゃんのとき たくさんの絵を見せられ

And over time, through iteration,

「これは鳥 これは鳥じゃない」と 教わります

we solve for w, we solve for those neural connections.

この学習を反復することで

So now, we've held x and w fixed to solve for y;

ｗを解いて 神経結合を作り出すんです

that's everyday, fast perception.

ｘと w に対して y を求めるというのは

We figure out how we can solve for w,

高速な日常的「知覚」です

that's learning, which is a lot harder,

w を求める方法を 先ほど考えましたが

because we need to do error minimization,

これは「学習」であり ずっと難しいことです

using a lot of training examples.

なぜなら 多くの訓練例を使って

And about a year ago, Alex Mordvintsev, on our team,

誤差を最小化する必要が あるからです

decided to experiment with what happens if we try solving for x,

１年ほど前 私のチームの アレックス・モードヴィンツェフは

given a known w and a known y.

既知の w と y に対して x の値を求めるとどうなるか

In other words,

実験してみることにしました

you know that it's a bird,

言い換えると

and you already have your neural network that you've trained on birds,

鳥に対してトレーニングされた ニューラルネットが

but what is the picture of a bird?

鳥だと答えを出す

It turns out that by using exactly the same error-minimization procedure,

「鳥の絵」はどんなものか ということです

one