But your brain has no trouble recognizing it as a three and I want you to take a moment to appreciate

あなたの脳は問題なくそれを3と認識するでしょう。ここで、私はあなたに理解してもらうために少し時間をかけてほしいことがある。

How crazy it is that brains can do this so effortlessly?

どのようにして脳が楽々と3だと認識することができたのか？

I mean this this and this are also recognizable as threes,

これも、これも、そしてこれもまた3として認識される事を意味します、

even though the specific values of each pixel is very different from one image to the next.

ある画像から次の画像に対して、各々のピクセルの特定の値が非常に異なる場合であっても。

The particular light-sensitive cells in your eye that are firing when you see this three

この3を見た時にあなたの目の中で発火している特定の視細胞と

are very different from the ones firing when you see this three.

この3を見たときに発火している視細胞は全く別物です。

But something in that crazy smart visual cortex of yours

しかし、あなたの非常に高性能な視覚野の中の何かが

resolves these as representing the same idea while at the same time recognizing other images as their own distinct ideas

これらを同じアイデアを表すものとして理解すると同時に、他のイメージを別個のアイデアとして認識します

But if I told you hey sit down and write for me a program that takes in a grid of 28 by 28

しかし、もし私があなたにちょっと座って私のためにプログラムを書いてくれと言ったら。プログラムは、28×28ピクセルのグリッドを使用し、

pixels like this and outputs a single number between 0 and 10 telling you what it thinks the digit is

0から10の間の単一の数値を出力し、数字が何であるかをあなたに伝えるものです

Well the task goes from comically trivial to dauntingly difficult

まあ、仕事は馬鹿げて些細なことから、非常に難しいものに変わります

Unless you've been living under a rock

あなたの知識が非常に限られていない限り、

I think I hardly need to motivate the relevance and importance of machine learning and neural networks to the present into the future

私は機械学習と神経ネットワークの現在と将来の関連性と重要性を動機付けする必要はほとんどないと思う

But what I want to do here is show you what a neural network actually is

しかし、私がここでやりたいことは、実際に神経ネットワークが何であるかを示すことです

Assuming no background and to help visualize what it's doing not as a buzzword but as a piece of math

背景がないと仮定し、それが流行語としてではなく、数学的なものとして何をしているのかを視覚化するのを助ける

My hope is just that you come away feeling like this structure itself is

私の希望は、あなたが次のように感じられる事です。この構造そのものによって動機づけられ、

Motivated and to feel like you know what it means when you read or you hear about a neural network quote-unquote learning

あなたが「神経ネットワーク」学習に関して読んだり、聞いたりする際に、それが何を意味するかを知っているかのように感じる事です

This video is just going to be devoted to the structure component of that and the following one is going to tackle learning

このビデオはそれの構造要素に専念するつもりであり、次のものは学習に取り掛かる予定です

What we're going to do is put together a neural network that can learn to recognize handwritten digits

私たちがやろうとしていることは、手書きの数字を認識することを学ぶことができる神経ネットワークをまとめることです

This is a somewhat classic example for

これはやや古典的な例です

Introducing the topic and I'm happy to stick with the status quo here because at the end of the two videos I want to point

トピックを紹介して、私はここで現状を守る事を嬉しく思います。なぜなら2つのビデオの最後に、あなたに指摘したいのです

You to a couple good resources where you can learn more and where you can download the code that does this and play with it?

これを行い、それを使って遊ぶ事ができるコードをどこでダウンロードし、どこで更に学べるかがわかるいくつかの良い素材を

on your own computer

自分のコンピュータで

There are many many variants of neural networks and in recent years

近年、神経ネットワークには多くの種類があります。

There's been sort of a boom in research towards these variants

これらの種類に対する研究では、一種のブームがありました

But in these two introductory videos you and I are just going to look at the simplest plain-vanilla form with no added frills

しかし、これらの2つの紹介ビデオでは、あなたと私は単純なフォームを見ようとしています

This is kind of a necessary

これは必要な前提条件です

prerequisite for understanding any of the more powerful modern variants and

より強力な現代の種類を理解するために

Trust me it still has plenty of complexity for us to wrap our minds around

私の心を包み込むためにはまだまだ複雑です。

But even in this simplest form it can learn to recognize handwritten digits

しかし、この最も単純な形式でも、手書きの数字を認識することを学ぶことができます

Which is a pretty cool thing for a computer to be able to do.

これは、コンピュータが行うことができる非常にクールなものです。

And at the same time you'll see how it does fall short of a couple hopes that we might have for it

それと同時に、あなたが抱いている可能性があるいくつかの要望にはかけている事がわかります

As the name suggests neural networks are inspired by the brain, but let's break that down

名前が示唆するように、神経ネットワークは脳に触発されていますが、それを打破しましょう

What are the neurons and in what sense are they linked together?

神経とは何ですか？どのような意味で、それらは一緒につながっていますか？

Right now when I say neuron all I want you to think about is a thing that holds a number

今、私がニューロンと言うとき、あなたが考えて欲しいのは、数字を保持するものです

Specifically a number between 0 & 1 it's really not more than that

具体的には、0と1の間の数字です

For example the network starts with a bunch of neurons corresponding to each of the 28 times 28 pixels of the input image

例えば、ネットワークは、入力画像の28×28画素のそれぞれに対応する一群の神経から始まります

which is

それは

784 neurons in total each one of these holds a number that represents the grayscale value of the corresponding pixel

合計784個の神経の各々は、対応するピクセルのグレースケール値を表す数を保持します

ranging from 0 for black pixels up to 1 for white pixels

黒ピクセルを表す0から始まり、白ピクセルを表す1までの

This number inside the neuron is called its activation and the image you might have in mind here

ニューロン内部のこの数字は活性化と呼ばれ、ここで想像しているかもしれないイメージです

Is that each neuron is lit up when its activation is a high number?

その活性化が高い数字のときに各ニューロンが点灯していますか？

So all of these 784 neurons make up the first layer of our network

したがって、これらの784個のニューロンのすべてが私たちのネットワークの第1層を構成します

Now jumping over to the last layer this has ten neurons each representing one of the digits

最後のレイヤーにジャンプすると、10個のニューロンがそれぞれ数字の1つを表します

the activation in these neurons again some number that's between zero and one

0と1の間の数に対するこれらの神経の活性化は、

Represents how much the system thinks that a given image?

与えられたイメージがシステムにどのくらいあると考えるかを表します。

Corresponds with a given digit. There's also a couple layers in between called the hidden layers

指定された桁に対応します。間には隠れたレイヤーと呼ばれる2つのレイヤーがあります

Which for the time being?

それは当分の間ですか？

Should just be a giant question mark for how on earth this process of recognizing digits is going to be handled

地球上でどのように数字を認識するかについての巨大な疑問符でなければなりません。

In this network I chose two hidden layers each one with 16 neurons and admittedly that's kind of an arbitrary choice

このネットワークでは、それぞれ16個のニューロンを持つ2つの隠れたレイヤーを選択しましたが、これは任意の選択肢です

to be honest I chose two layers based on how I want to motivate the structure in just a moment and

正直言って私はちょうどその瞬間に構造に動機づけをしたい、

16 well that was just a nice number to fit on the screen in practice

16はうまく実際に画面に収まるような素敵な数字でした

There is a lot of room for experiment with a specific structure here

ここには特定の構造の実験のための余地がたくさんあります

The way the network operates activations in one layer determine the activations of the next layer

ネットワークが1つの層で活性化を実行する方法は、次の層の活性化を決定します

And of course the heart of the network as an information processing mechanism comes down to exactly how those

もちろん、情報処理の仕組みとしてのネットワークの核心は、

activations from one layer bring about activations in the next layer

1つの層からの活性化が、どのように次の層の活性化を引き起こしますかによります

It's meant to be loosely analogous to how in biological networks of neurons some groups of neurons firing

それは、神経の生物学的ネットワークにおいて、どのようにあるグループの神経点火がある他のグループを点火させるのかをゆるやかに比較する事を意味しています

cause certain others to fire

今やネットワーク

Now the network

私がここに示しているのは、既に数字を認識するように訓練されており、それにより私が意味するものをお見せしています

I'm showing here has already been trained to recognize digits and let me show you what I mean by that

それは、もしあなたが画像内の各画素の輝度に応じて入力層の全ての784個の神経を輝かせた画像を与えたなら

It means if you feed in an image lighting up all

その活性化のパターンは、次の層において非常に特異的なパターンを生じる

784 neurons of the input layer according to the brightness of each pixel in the image

どれが、一つのパターンの後の一つにおいて、いくつかのパターンを引き起こすのでしょうか？

That pattern of activations causes some very specific pattern in the next layer

最終的には、どれが出力層にいくつかのパターンを与えるのでしょうか？そして

Which causes some pattern in the one after it?

その出力層の最も明るい神経はネットワークの選択であり、言わば、この画像がどの桁を表しているかという事である

Which finally gives some pattern in the output layer and?

どのようにして1つのレイヤーが次のレイヤーに影響するか、または、どのようにしてトレーニングが機能するのかについての数学に飛び込む前に、

The brightest neuron of that output layer is the network's choice so to speak for what digit this image represents?

何故、このような階層化された構造が賢く動作すると期待する事が将に合理的であるかについて話しましょう

And before jumping into the math for how one layer influences the next or how training works?

ここで何を期待していますか？それらの中間層が何をしているのかについての最適な望みは何ですか？

Let's just talk about why it's even reasonable to expect a layered structure like this to behave intelligently

あなたや私が数字を認識する時、さまざまな構成要素を一つにします。9は丸が上にあり、右に縦線があります

What are we expecting here? What is the best hope for what those middle layers might be doing?

8も上に丸がありますが、下にある他の丸と対になっています

Well when you or I recognize digits we piece together various components a nine has a loop up top and a line on the right

4は基本的に3つの特定の行とそのようなものに分解されます

an 8 also has a loop up top, but it's paired with another loop down low

完璧な世界では、2番目から最後の層の各神経は、これらの副構成品の一つとして対応する

A 4 basically breaks down into three specific lines and things like that

それは、あなたが画像を入力する度に、9または8のような上の丸を言います

Now in a perfect world we might hope that each neuron in the second-to-last layer

活性化が１に近づいているいくつの特定の神経があります

corresponds with one of these sub components

私はこの特定の画像の丸を意味するわけではありません。

That anytime you feed in an image with say a loop up top like a 9 or an 8

一般的には、上にある丸のパターンは第3層から最後の層に向かう神経を導きます

There's some specific

サブコンポーネントのどの組み合わせがどの桁に対応するかを学習するだけでよい

Neuron whose activation is going to be close to one and I don't mean this specific loop of pixels the hope would be that any

もちろん、それは道のりで問題を引き起こすだけです

Generally loopy pattern towards the top sets off this neuron that way going from the third layer to the last one

あなたがこれらのサブコンポーネントをどのように認識するか、あるいは正しいサブコンポーネントがどんなものであるべきかを学ぶことさえあります。私はまだ説明していませんが

just requires learning which combination of sub components corresponds to which digits

どの層が次の層にどのように影響しますか？

Of course that just kicks the problem down the road

丸を認識することは、付随する問題に分解することもできます

Because how would you recognize these sub components or even learn what the right sub components should be and I still haven't even talked about

これを行うための1つの合理的な方法は、最初にそれを構成する様々な小さな端を認識することです

How one layer influences the next but run with me on this one for a moment

同様に、数字1または4または7において、そのような長い線をみる事でしょう

recognizing a loop can also break down into subproblems

まあ、それは実際には長いエッジか多分あなたはいくつかの小さなエッジの特定のパターンとしてそれを考える

One reasonable way to do this would be to first recognize the various little edges that make it up

だから、私たちの希望は、ネットワークの第2層の各ニューロン

Similarly a long line like the kind you might see in the digits 1 or 4 or 7

様々な関連する小さなエッジに対応する

Well that's really just a long edge or maybe you think of it as a certain pattern of several smaller edges

たぶん、このような画像が入ってくると、すべてのニューロンが点灯します

So maybe our hope is that each neuron in the second layer of the network

約8〜10個の特定の小さなエッジに関連する

corresponds with the various relevant little edges

それは上のループに関連するニューロンと長い垂直線を点灯させ、

Maybe when an image like this one comes in it lights up all of the neurons

それらは9つのニューロンに関連している

associated with around eight to ten specific little edges

それとも

which in turn lights up the neurons associated with the upper loop and a long vertical line and

これが私たちの最終的なネットワークが実際にやっていることです。もう一つの質問です。ネットワークを鍛える方法を見たら、私は戻ってきます。

Those light up the neuron associated with a nine

しかし、これは私たちが持つ可能性のある希望です。このような階層構造の目標

whether or not

さらに、このようなエッジやパターンをどのように検出することが他の画像認識タスクにとって本当に役に立つか想像することができます

This is what our final network actually does is another question, one that I'll come back to once we see how to train the network

さらに、画像認識以外にも、抽象化のレイヤーに分解することができる、あらゆる種類のインテリジェントなものがあります

But this is a hope that we might have. A sort of goal with the layered structure like this

例えば、音声を解析するには、生の音声を取り出し、結合して特定の音節

Moreover you can imagine how being able to detect edges and patterns like this would be really useful for other image recognition tasks

フレーズとより抽象的な思考を組み立てるために結合する単語を形成するために結合するもの

And even beyond image recognition there are all sorts of intelligent things you might want to do that break down into layers of abstraction

しかし、これが実際にどのように実際に動作するかに戻ることは、現在自分自身を描いています

Parsing speech for example involves taking raw audio and picking out distinct sounds which combine to make certain syllables

1つの層の活性化が次の層の活性化をどの程度正確に決定するか？

Which combine to form words which combine to make up phrases and more abstract thoughts etc

目標は、ピクセルをエッジに組み合わせる可能性のあるメカニズムを持つことです

But getting back to how any of this actually works picture yourself right now designing

パターンやパターンの辺へのエッジや、非常に具体的な例をズームインする

How exactly the activations in one layer might determine the activations in the next?

希望が1つの特定のものだとしましょう

The goal is to have some mechanism that could conceivably combine pixels into edges

2番目の層のニューロンは、画像がこの領域にエッジを持っているかどうかをここでピックアップします

Or edges into patterns or patterns into digits and to zoom in on one very specific example

手元にある質問は、ネットワークがどのようなパラメータを持っているべきかということです

Let's say the hope is for one particular

どのようなダイヤルやノブを微調整して、このパターンを潜在的に十分に表現できるようにするか、

Neuron in the second layer to pick up on whether or not the image has an edge in this region here

他のピクセルパターンや、いくつかのエッジがループなどのことができるパターン？

The question at hand is what parameters should the network have

さて、私たちがすることは、最初の層からのニューロンとニューロンとの間の接続のそれぞれに重みを割り当てることです

what dials and knobs should you be able to tweak so that it's expressive enough to potentially capture this pattern or

これらの重みはちょうど数字です

Any other pixel pattern or the pattern that several edges can make a loop and other such things?

最初のレイヤーからすべてのアクティベーションを取り、これらの重みIに従って重み付けされた合計を計算します

Well, what we'll do is assign a weight to each one of the connections between our neuron and the neurons from the first layer

これらの重みを自分の小さなグリッドに編成していると考えると役立ちます

These weights are just numbers

また、正の重みを示す緑のピクセルと負の重みを示す赤のピクセルを使用します

then take all those activations from the first layer and compute their weighted sum according to these weights I

そのピクセルの明るさは、重み値の何らかの緩やかな描写であるか？

Find it helpful to think of these weights as being organized into a little grid of their own

今では、ほとんどすべてのピクセルに関連付けられた重みをゼロ

And I'm going to use green pixels to indicate positive weights and red pixels to indicate negative weights

この地域のいくつかの肯定的な重みを除いて

Where the brightness of that pixel is some loose depiction of the weights value?

次に、

Now if we made the weights associated with almost all of the pixels zero

すべてのピクセル値は実際には気になる領域のピクセル値を加算するだけです

except for some positive weights in this region that we care about

そして、あなたが本当にそれがここにエッジがあるかどうかを拾うことを望むなら、あなたがするかもしれないことは、いくつかの負の重みを持つことです

then taking the weighted sum of

周辺画素に関連する

all the pixel values really just amounts to adding up the values of the pixel just in the region that we care about

その中間のピクセルが明るいときに合計が最大になりますが、周囲のピクセルはより暗くなります

And, if you really want it to pick up on whether there's an edge here what you might do is have some negative weights

このような加重和を計算すると、任意の数

associated with the surrounding pixels

しかし、このネットワークでは、活性化が0＆1の間の値になるようにしたい

Then the sum is largest when those middle pixels are bright, but the surrounding pixels are darker

そのため、一般的なことは、この加重和をポンピングすることです

When you compute a weighted sum like this you might come out with any number

実数の線を0と1の間の範囲に縮めるいくつかの関数に

but for this network what we want is for activations to be some value between 0 & 1

これを行う一般的な関数は、ロジスティック曲線とも呼ばれるシグモイド関数と呼ばれます

so a common thing to do is to pump this weighted sum

基本的に非常に負の入力はゼロに近づく非常に正の入力は1に近づく

Into some function that squishes the real number line into the range between 0 & 1 and

それはちょうど入力0の周りで着実に増加します

A common function that does this is called the sigmoid function also known as a logistic curve

したがって、ここでのニューロンの活性化は、基本的に、関連する加重和がどのようにプラスであるかの尺度である

basically very negative inputs end up close to zero very positive inputs end up close to 1

しかし、重み付けされた合計が0より大きい場合にニューロンを点灯させたいというわけではないかもしれません

and it just steadily increases around the input 0

たぶんあなたは、合計が10より大きいときにアクティブにしたいだけかもしれません

So the activation of the neuron here is basically a measure of how positive the relevant weighted sum is

それはあなたがそれが非アクティブであるためのいくつかのバイアスが欲しいです

But maybe it's not that you want the neuron to light up when the weighted sum is bigger than 0

私たちがやることは、この加重和に負の10のような他の数を加えるだけです

Maybe you only want it to be active when the sum is bigger than say 10

Sigmoid squishification機能を使ってプラグを差し込む前に

That is you want some bias for it to be inactive

その追加数はバイアスと呼ばれます

what we'll do then is just add in some other number like negative 10 to this weighted sum

したがって、ウェイトは、2番目のレイヤーのこのニューロンがどのピクセルパターンでピックアップしているかを示し、バイアス

Before plugging it through the sigmoid squishification function

ニューロンが有意義にアクティブになる前に、加重合計がどれくらい高い必要があるかを示します

That additional number is called the bias

それはただのニューロンです

So the weights tell you what pixel pattern this neuron in the second layer is picking up on and the bias

この層の他のすべてのニューロンは、すべての

tells you how high the weighted sum needs to be before the neuron starts getting meaningfully active

第1の層からの784ピクセルのニューロンおよびこれらの784個の接続の各々はそれに関連するそれ自体の重みを有する

And that is just one neuron

また、それぞれにはいくつかのバイアスがあります。これは、シグモイドでそれを潰す前に加重合計に加算します。

Every other neuron in this layer is going to be connected to all

この16個のニューロンの隠れたレイヤーについて考えておくと、

784 pixels neurons from the first layer and each one of those 784 connections has its own weight associated with it

それは合計で784回の16回の重みと16回の偏りです

also each one has some bias some other number that you add on to the weighted sum before squishing it with the sigmoid and

そして、それはすべて、第1層から第2層への接続だけであり、他の層

That's a lot to think about with this hidden layer of 16 neurons

また、それらに関連した重さと偏りの束

that's a total of 784 times 16 weights along with 16 biases

すべてのことが言って、このネットワークを行ったほとんど正確に

And all of that is just the connections from the first layer to the second the connections between the other layers

合計13,000の重みと偏り

Also, have a bunch of weights and biases associated with them

このネットワークをさまざまな方法で動作させるために調整可能な13,000個のノブとダイヤル

All said and done this network has almost exactly

だから私たちは学習について話すとき？

13,000 total weights and biases

それは、実際に解決されるように、これらの多くの数字のすべてのための有効な設定を見つけるためにコンピュータを取得させることです

13,000 knobs and dials that can be tweaked and turned to make this network behave in different ways

手元の問題

So when we talk about learning?

思考

What that's referring to is getting the computer to find a valid setting for all of these many many numbers so that it'll actually solve

すぐに楽しいと恐ろしいの実験は、座っていることを想像し、これらの重みと偏りのすべてを手で設定することです

the problem at hand

意図的に数字を微調整して、2番目のレイヤーがエッジでピックアップし、3番目のレイヤーがパターンなどでピックアップするようにします。

one thought

私は個人的には、ネットワーク全体をブラックボックスとして読むのではなく、

Experiment that is at once fun and kind of horrifying is to imagine sitting down and setting all of these weights and biases by hand

ネットワークがあなたの

Purposefully tweaking the numbers so that the second layer picks up on edges the third layer picks up on patterns etc

それらの重みや偏りが実際にあなたが出発点を持つことを意味するものと少しの関係を築き上げているかどうかを予測してください

I personally find this satisfying rather than just reading the network as a total black box

ネットワークを改善するために、あるいはネットワークが機能するように構造を変更する方法を試してみてください。

Because when the network doesn't perform the way you

しかし、あなたが期待する理由ではありません

anticipate if you've built up a little bit of a relationship with what those weights and biases actually mean you have a starting place for

重みと偏りが何をしているのかを掘り下げることは、あなたの前提に挑戦し、可能な限り完全な空間を明らかにする良い方法です

Experimenting with how to change the structure to improve or when the network does work?

ソリューション

But not for the reasons you might expect

ところで、ここの実際の機能は書き留めるのが少し面倒です。あなたは思いませんか？

Digging into what the weights and biases are doing is a good way to challenge your assumptions and really expose the full space of possible

ですから、これらの接続が表現されるより表記的にコンパクトな方法を私に教えてください。これはあなたがそれを見る方法です

solutions

あなたがニューラルネットワークの詳細を読むことを選択した場合

By the way the actual function here is a little cumbersome to write down. Don't you think?

1つのレイヤーからすべてのアクティベーションをベクトルとして列に整理する

So let me show you a more notationally compact way that these connections are represented. This is how you'd see it

次に、すべての重みを行列として編成し、その行列の各行

If you choose to read up more about neural networks

1つの層と次の層の特定のニューロンとの間の接続に対応する

Organize all of the activations from one layer into a column as a vector

その意味は、これらの重みに従って第1層の活性化の加重和を取ることですか？

Then organize all of the weights as a matrix where each row of that matrix

ここにあるすべてのものの行列ベクトル積の項の1つに対応します

corresponds to the connections between one layer and a particular neuron in the next layer

ところで、機械学習の多くは、線形代数をよく理解することに帰着します

What that means is that taking the weighted sum of the activations in the first layer according to these weights?

ですから、マトリックスの視覚的な理解を望む人や、行列ベクトルの乗算が線形代数で行ったシリーズ

Corresponds to one of the terms in the matrix vector product of everything we have on the left here

特に第3章

By the way so much of machine learning just comes down to having a good grasp of linear algebra

これらの値のそれぞれにバイアスを追加することについて話すのではなく、私たちの表現に戻ると、

So for any of you who want a nice visual understanding for matrices and what matrix vector multiplication means take a look at the series I did on linear algebra

それらのバイアスを全てベクトル化し、ベクトル全体を前の行列ベクトル積に加える

especially chapter three

次に、最終ステップとして

Back to our expression instead of talking about adding the bias to each one of these values independently we represent it by

私はここの外側のSigmoidをラップします

Organizing all those biases into a vector and adding the entire vector to the previous matrix vector product

そして、それが表すはずのものは、あなたがシグモイド関数をそれぞれの固有の関数に適用することです

Then as a final step

結果として生じるベクトルの内部のコンポーネント

I'll rap a sigmoid around the outside here

したがって、この重み行列とこれらのベクトルを独自の記号として書き留めると、次のことができます。

And what that's supposed to represent is that you're going to apply the sigmoid function to each specific

非常にタイトできちんとした小さな表情で、あるレイヤーから次のレイヤーへのアクティベーションの完全な移行を伝え、

component of the resulting vector inside

これにより、多くのライブラリが行列の乗算を最適化するので、関連するコードがずっと簡単で多く高速になります

So once you write down this weight matrix and these vectors as their own symbols you can

私がこれらのニューロンが単に数字を保持するもの

communicate the full transition of activations from one layer to the next in an extremely tight and neat little expression and

もちろん、それらが保持する特定の数値は、あなたがフィードした画像に依存します

This makes the relevant code both a lot simpler and a lot faster since many libraries optimize the heck out of matrix multiplication

したがって、実際には、各ニューロンを

Remember how earlier I said these neurons are simply things that hold numbers

前の層のすべてのニューロンの出力と0と1の間の数を吐き出す

Well of course the specific numbers that they hold depends on the image you feed in

実際には、ネットワーク全体が機能しているだけです