Name: 勾配降下法、ニューラルネットワークの学習方法｜ディープラーニング 第2章 (Gradient descent, how neural networks learn | Deep Learning Chapter 2)
Uploaded: 2025-08-01T10:04:54.000Z
Duration: 20 min 33 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

Last video I laid out the structure of a neural network.

前回のビデオでニューラルネットワークの構造を説明した。

程度の副詞

I'll give a quick recap here just so that it's fresh in our minds and then I have two main goals for this video.

このビデオには2つのゴールがある。

様態の副詞

The first is to introduce the idea of gradient descent which underlies not only how neural networks learn but how a lot of other machine learning works as well.

1つ目は、ニューラル・ネットワークの学習方法だけでなく、他の多くの機械学習の仕組みの根底にある勾配降下の考え方を紹介することである。

Then after that we're gonna dig in a little more to how this particular network performs and what those hidden layers of neurons end up actually looking for.

その後、この特定のネットワークがどのように機能するのか、ニューロンの隠れ層が実際に何を探しているのかをもう少し掘り下げてみる。

As a reminder our goal here is the classic example of handwritten digit recognition, the hello world of neural networks.

ここで思い出してほしいのは、ニューラルネットワークのハローワールドである手書きの数字認識の古典的な例である。

These digits are rendered on a 28 by 28 pixel grid, each pixel with some grayscale value between 0 and 1.

これらの数字は28×28ピクセルのグリッド上に描画され、各ピクセルは0から1の間のグレースケール値を持つ。

Those are what determine the activations of 784 neurons in the input layer of the network.

これらは、ネットワークの入力層にある784個のニューロンの活性化を決定するものである。

And then the activation for each neuron in the layers is based on a weighted sum of all the activations in the previous layer plus some special number called a bias.

そして、層内の各ニューロンの活性化は、前の層のすべての活性化にバイアスと呼ばれる特別な数を加えた加重和に基づいている。

Then you compose that sum with some other function like the sigmoid squishification or a ReLU the way that I walked through last video.

そしてその和を、シグモイド2乗法やReLUのような他の関数と合成する。

In total given the somewhat arbitrary choice of two hidden layers here with 16 neurons each the network has about 13,000 weights and biases that we can adjust and it's these values that determine what exactly the network you know actually does.

ここでは16ニューロンずつの2つの隠れ層をやや任意に選んでいるため、ネットワークは合計で約13,000の重みとバイアスを持ち、それを調整することができる。

Then what we mean when we say that this network classifies a given digit is that the brightest of those 10 neurons in the final layer corresponds to that digit.

では、このネットワークが与えられた数字を分類するというのはどういうことかというと、最終層の10個のニューロンのうち最も明るいものがその数字に対応するということである。

And remember the motivation that we had in mind here for the layered structure was that maybe the second layer could pick up on the edges and the third layer might pick up on patterns like loops and lines and the last one could just piece together those patterns to recognize digits.

2番目のレイヤーがエッジを拾い、3番目のレイヤーがループやラインなどのパターンを拾い、最後のレイヤーがそれらのパターンを組み合わせて数字を認識する。

そこで、ネットワークがどのように学習するのかを学ぶ。

What we want is an algorithm where you can show this network a whole bunch of training data which comes in the form of a bunch of different images of handwritten digits along with labels for what they're supposed to be and it'll adjust those 13,000 weights and biases so as to improve its performance on the training data.

私たちが求めているのは、このネットワークに、手書きの数字のさまざまな画像と、それが何であるかのラベルという形で提供される、大量のトレーニングデータを見せることができ、トレーニングデータに対するパフォーマンスを向上させるように、13,000の重みとバイアスを調整するようなアルゴリズムです。

Hopefully this layered structure will mean that what it learns generalizes to images beyond that training data.

願わくば、このレイヤー構造によって、学習したことが学習データ以外の画像にも一般化されることを期待したい。

And the way we test that is that after you train the network you show it more labeled data that it's never seen before and you see how accurately it classifies those new images.

それをテストする方法は、ネットワークを訓練した後、今まで見たことのないラベル付きデータを見せて、その新しい画像をどれだけ正確に分類するかを見るんだ。

Fortunately for us and what makes this such a common example to start with is that the good people behind the MNIST database have put together a collection of tens of thousands of handwritten digit images each one labeled with the numbers that they're supposed to be.

幸いなことに、このような一般的な例から始めることができるのは、MNISTデータベースの背後にいる善良な人々が、それぞれ想定される数字でラベル付けされた何万もの手書きの数字画像のコレクションをまとめたからである。

And as provocative as it is to describe a machine as learning, once you actually see how it works it feels a lot less like some crazy sci-fi premise and a lot more like, well, a calculus exercise.

そして、マシンが学習すると表現することが挑発的であるのと同様に、それがどのように機能するかを実際に見てみると、おかしなSF的な前提ではなく、微積分の練習のように感じられる。

I mean basically it comes down to finding the minimum of a certain function.

つまり、基本的にはある関数の最小値を求めることになる。

Remember conceptually we're thinking of each neuron as being connected to all of the neurons in the previous layer and the weights in the weighted sum defining its activation are kind of like the strengths of those connections.

概念的には、各ニューロンは前のレイヤーのすべてのニューロンとつながっていて、その活性化を定義する加重和の重みは、それらのつながりの強さのようなものだと考えていることを覚えておいてほしい。

And the bias is some indication of whether that neuron tends to be active or inactive.

そしてバイアスは、そのニューロンが活動的か非活動的かを示すものだ。

And to start things off we're just going to initialize all of those weights and biases totally randomly.

まず始めに、重みとバイアスをランダムに初期化する。

Needless to say this network is going to perform pretty horribly on a given training example since it's just doing something random.

言うまでもないが、このネットワークはランダムに何かをやっているだけなので、与えられた訓練例に対してかなりひどいパフォーマンスを示すことになる。

For example you feed in this image of a 3 and the output layer just looks like a mess.

例えば、この3の画像を送り込むと、出力レイヤーはぐちゃぐちゃに見える。

So what you do is you define a cost function, a way of telling the computer, no, bad computer, that output should have activations which are 0 for most neurons but 1 for this neuron.

つまり、コスト関数を定義し、コンピューターに、いや、悪いコンピューターだが、この出力はほとんどのニューロンでは0だが、このニューロンでは1であるべきだと指示するのだ。

あなたが私にくれたものは全くのゴミだ。

To say that a little more mathematically what you do is add up the squares of the differences between each of those trash output activations and the value that you want them to have.

もう少し数学的な言い方をすれば、それぞれのゴミ出力の活性度と、そうあってほしい値との差の2乗を足し算するのだ。

And this is what we'll call the cost of a single training example.

そして、これが1つのトレーニング例のコストと呼ぶものだ。

Notice this sum is small when the network confidently classifies the image correctly but it's large when the network seems like it doesn't really know what it's doing.

この和は、ネットワークが自信を持って画像を正しく分類しているときには小さいが、ネットワークが何をやっているのかよく分かっていないようなときには大きくなることに注意してほしい。

So then what you do is consider the average cost over all of the tens of thousands of training examples at your disposal.

そこであなたがすることは、あなたが自由に使える何万ものトレーニング例のすべての平均コストを考えることです。

This average cost is our measure for how lousy the network is and how bad the computer should feel.

この平均コストは、ネットワークがどれだけお粗末で、コンピューターがどれだけ悪いと感じているかを示す指標となる。

Remember how the network itself was basically a function, one that takes in 784 numbers as inputs, the pixel values, and spits out 10 numbers as its output.

ネットワーク自体が基本的に関数で、ピクセル値である784個の数値を入力として受け取り、出力として10個の数値を吐き出すものだったことを覚えている。

And in a sense it's parameterized by all these weights and biases.

そしてある意味、これらの重みとバイアスによってパラメータ化されている。

Well the cost function is a layer of complexity on top of that.

コスト関数はその上の複雑な層だ。

It takes as its input those 13,000 or so weights and biases and it spits out a single number describing how bad those weights and biases are.

13,000ほどの重みとバイアスを入力とし、それらの重みとバイアスがどれだけ悪いかを表す1つの数字を吐き出す。

And the way it's defined depends on the network's behavior over all the tens of thousands of pieces of training data.

そして、その定義方法は、何万ものトレーニングデータすべてにわたるネットワークの動作に依存する。

But just telling the computer what a crappy job it's doing isn't very helpful.

しかし、コンピューターにくだらない仕事をしていると言うだけでは、あまり役には立たない。

You want to tell it how to change those weights and biases so that it gets better.

その重みやバイアスをどう変えれば良くなるかを伝えたいのだ。

To make it easier rather than struggling to imagine a function with 13,000 inputs just imagine a simple function that has one number as an input and one number as an output.

13,000もの入力を持つ関数を想像するのに苦労するよりも、1つの数値を入力とし、1つの数値を出力とする単純な関数を想像した方が簡単だろう。

How do you find an input that minimizes the value of this function?

この関数の値を最小にする入力を見つけるには？

Calculus students will know that you can sometimes figure out that minimum explicitly, but that's not always feasible for really complicated functions.

微積分を学んだ人なら、その最小値を明示的に求めることができる場合があることを知っているだろうが、本当に複雑な関数の場合、それは必ずしも実現可能なことではない。

Certainly not in the 13,000 input version of this situation for our crazy complicated neural network cost function.

確かに、私たちのクレイジーで複雑なニューラルネットワークのコスト関数では、この状況の13,000入力バージョンではない。

A more flexible tactic is to start at any old input and figure out which direction you should step to make that output lower.

より柔軟な戦術は、古い入力から始めて、その出力を低くするためにどの方向にステップを踏むべきかを考えることだ。

Specifically, if you can figure out the slope of the function where you are, then shift to the left if that slope is positive, and shift the input to the right if that slope is negative.

具体的には、今いる場所で関数の傾きがわかれば、その傾きがプラスなら左に、マイナスなら右に入力をシフトする。

If you do this repeatedly, at each point checking the new slope and taking the appropriate step, you're going to approach some local minimum of the function.

これを繰り返し、各ポイントで新しい傾きをチェックし、適切なステップを踏むと、関数の局所的な最小値に近づくことになる。

And the image you might have in mind here is a ball rolling down a hill.

そして、ここで思い浮かべるイメージは、坂を転がるボールだろう。

And notice, even for this really simplified single input function, there are many possible valleys that you might land in, depending on which random input you start at.

そして、この本当に単純化された単一入力関数でさえ、どのランダム入力から始めるかによって、着地する可能性のある谷がたくさんあることに気づいてほしい。

And there's no guarantee that the local minimum you land in is going to be the smallest possible value of the cost function.

そして、あなたが着地するローカル・ミニマムが、コスト関数の可能な限り小さな値になるという保証はない。

That's going to carry over to our neural network case as well.

このことは、ニューラルネットワークのケースにも引き継がれる。

And I also want you to notice how if you make your step sizes proportional to the slope, then when the slope is flattening out towards the minimum, your steps get smaller and smaller.

また、ステップの大きさを勾配に比例させると、勾配が最小に向かって平らになっていくとき、ステップがどんどん小さくなっていくことにも気づいてほしい。

And that kind of helps you from overshooting.

そうすれば、オーバーシュートを防ぐことができる。

Bumping up the complexity a bit, imagine instead a function with two inputs and one output.

少し複雑にして、代わりに2つの入力と1つの出力を持つ関数を想像してみよう。

You might think of the input space as the xy-plane, and the cost function as being graphed as a surface above it.

入力空間をxy平面と考え、コスト関数をその上の曲面としてグラフ化したものと考えればよい。

Now instead of asking about the slope of the function, you have to ask which direction should you step in this input space so as to decrease the output of the function most quickly.

今度は、関数の傾きを問う代わりに、関数の出力を最も早く減少させるために、この入力空間でどの方向にステップを踏むべきかを問わねばならない。

In other words, what's the downhill direction?

And again, it's helpful to think of a ball rolling down that hill.

そしてまた、その丘を転がり落ちるボールを思い浮かべるといい。

Those of you familiar with multivariable calculus will know that the gradient of a function gives you the direction of steepest ascent.

多変数の微積分に慣れた人なら、関数の勾配が最も急な上り坂の方向を示すことを知っているだろう。

Basically, which direction should you step to increase the function most quickly?

基本的に、最も早く機能を高めるには、どの方向に足を踏み出すべきか？

Naturally enough, taking the negative of that gradient gives you the direction to step that decreases the function most quickly.

当然ながら、その勾配のマイナスを取れば、関数を最も早く減少させるステップの方向がわかる。

And even more than that, the length of this gradient vector is actually an indication for just how that steepest slope is.

さらに言えば、この勾配ベクトルの長さは、その最も急な勾配がどれほどのものかを示すものでもある。

Now if you're unfamiliar with multivariable calculus and you want to learn more, check out some of the work that I did for Khan Academy on the topic.

多変数微積分についてよく知らない人、もっと学びたい人は、私がカーン・アカデミーのために書いたトピックのいくつかをチェックしてほしい。

Honestly though, all that matters for you and me right now is that in principle there exists a way to compute this vector.

正直なところ、今、私やあなたにとって重要なのは、原理的にこのベクトルを計算する方法が存在するということだけだ。

This vector that tells you what the downhill direction is and how steep it is.

このベクトルは、下り坂の方向と急勾配を教えてくれる。

You'll be okay if that's all you know and you're not rock-solid on the details.

それしか知らなくても、細部について磐石でなくても大丈夫だ。

Because if you can get that, the algorithm for minimizing the function is to compute this gradient direction, then take a small step downhill, and just repeat that over and over.

もしそれができれば、関数を最小化するアルゴリズムは、この勾配の方向を計算し、小さなステップで坂を下り、それを何度も繰り返すだけだからだ。

It's the same basic idea for a function that has 13,000 inputs instead of two inputs.

つの入力の代わりに13,000の入力を持つ関数でも、基本的な考え方は同じだ。

Imagine organizing all 13,000 weights and biases of our network into a giant column vector.

ネットワークの13,000の重みとバイアスを巨大な列ベクトルに整理することを想像してみてほしい。

The negative gradient of the cost function is just a vector.

コスト関数の負の勾配は単なるベクトルである。

It's some direction inside this insanely huge input space that tells you which nudges to all of those numbers is going to cause the most rapid decrease to the cost function.

この途方もなく巨大な入力空間の中で、どの数字にどのようなナッジを加えれば、コスト関数が最も急速に減少するかを指示するのだ。

And of course with our specially designed cost function, changing the weights and biases to decrease it means making the output of the network on each piece of training data look less like a random array of 10 values, and more like an actual decision that we want it to make.

そしてもちろん、特別に設計されたコスト関数を使えば、重みとバイアスを変えてそれを減少させることは、各トレーニングデータに対するネットワークの出力を、10個の値からなるランダムな配列のように見せるのではなく、より実際の意思決定のように見せることを意味する。

It's important to remember this cost function involves an average over all of the training data, so if you minimize it, it means it's a better performance on all of those samples.

このコスト関数は、すべてのトレーニングデータの平均を含むので、最小化すれば、すべてのサンプルでより良いパフォーマンスであることを意味することを覚えておくことが重要だ。

The algorithm for computing this gradient efficiently, which is effectively the heart of how a neural network learns, is called backpropagation, and it's what I'm going to be talking about next video.

この勾配を効率的に計算するアルゴリズムはバックプロパゲーションと呼ばれ、事実上、ニューラルネットワークの学習方法の核心である。

There, I really want to take the time to walk through what exactly happens to each weight and each bias for a given piece of training data, trying to give an intuitive feel for what's happening beyond the pile of relevant calculus and formulas.

そこでは、与えられたトレーニングデータに対して、各重みと各バイアスに何が起こっているのかを時間をかけて説明し、関連する微積分や公式の山を越えて、何が起こっているのかを直感的に感じられるようにしたい。

Right here, right now, the main thing I want you to know, independent of implementation details, is that what we mean when we talk about a network learning is that it's just minimizing a cost function.

今ここで、実装の詳細とは別に知っておいてほしいのは、ネットワークが学習するということは、コスト関数を最小化するということだ。

And notice, one consequence of that is that it's important for this cost function to have a nice smooth output, so that we can find a local minimum by taking little steps downhill.

その結果、このコスト関数は滑らかな出力を持つことが重要になる。

This is why, by the way, artificial neurons have continuously ranging activations, rather than simply being active or inactive in a binary way, the way that biological neurons are.

このため、人工ニューロンは、生物学的ニューロンのように単に活性か非活性かの二者択一ではなく、連続的にさまざまな活性を示すのである。

This process of repeatedly nudging an input of a function by some multiple of the negative gradient is called gradient descent.

このように、ある関数の入力を負の勾配の倍数だけ繰り返しなだらかにしていく過程は、勾配降下と呼ばれる。

It's a way to converge towards some local minimum of a cost function, basically a valley in this graph.

これは、コスト関数の局所的な最小値に向かって収束させる方法であり、基本的にはこのグラフの谷間である。

I'm still showing the picture of a function with two inputs, of course, because nudges in a 13,000 dimensional input space are a little hard to wrap your mind around, but there is actually a nice non-spatial way to think about this.

もちろん、13,000次元の入力空間でのナッジはちょっと頭に入りにくいので、2つの入力を持つ関数の絵をまだ示しているが、実はこれを考えるには、非空間的ないい方法がある。

Each component of the negative gradient tells us two things.

負のグラデーションの各成分は、2つのことを物語っている。

The sign, of course, tells us whether the corresponding component of the input vector should be nudged up or down.

符号はもちろん、入力ベクトルの対応する成分が上か下かを示している。

But importantly, the relative magnitudes of all these components kind of tells you which changes matter more.

しかし重要なのは、これらすべての構成要素の相対的な大きさを見れば、どの変化がより重要かがわかるということだ。

You see, in our network, an adjustment to one of the weights might have a much greater impact on the cost function than the adjustment to some other weight.

私たちのネットワークでは、ある重みを調整することは、他の重みを調整することよりも、コスト関数にはるかに大きな影響を与える可能性がある。

Some of these connections just matter more for our training data.

これらのコネクションの中には、トレーニングデータにとってより重要なものもある。

So a way that you can think about this gradient vector of our mind-warpingly massive cost function is that it encodes the relative importance of each weight and bias.

つまり、この気の遠くなるような巨大なコスト関数の勾配ベクトルについて考える方法は、各重みとバイアスの相対的な重要性を符号化するということだ。

That is, which of these changes is going to carry the most bang for your buck?

つまり、これらの変更のうち、どれが最も得をするかということだ。

This really is just another way of thinking about direction.

これは本当に、方向性についての別の考え方に過ぎない。

To take a simpler example, if you have some function with two variables as an input, and you compute that its gradient at some particular point comes out as 3, 1, then on the one hand you can interpret that as saying that when you're standing at that input, moving along this direction increases the function most quickly.

もっと簡単な例を挙げると、2つの変数を入力とする関数があるとして、ある特定の点での勾配が3, 1となることを計算した場合、一方では、その入力点に立っているとき、この方向に沿って動くと関数が最も早く増加すると解釈できる。

That when you graph the function above the plane of input points, that vector is what's giving you the straight uphill direction.

入力点の平面の上に関数をグラフにすると、そのベクトルがまっすぐな上り坂の方向を示しているのだ。

But another way to read that is to say that changes to this first variable have three times the importance as changes to the second variable.

しかし、別の読み方をすれば、この最初の変数の変化は、2番目の変数の変化の3倍の重要性を持つということになる。

That at least in the neighborhood of the relevant input, nudging the x-value carries a lot more bang for your buck.

少なくとも、関連する入力の近辺では、X値をナディングすることは、より多くの利益をもたらす。

Alright, let's zoom out and sum up where we are so far.

さて、ズームアウトしてここまでの状況をまとめてみよう。

The network itself is this function with 784 inputs and 10 outputs, defined in terms of all of these weighted sums.

ネットワークそのものは、784の入力と10の出力を持つこの関数であり、これらすべての重み付き和で定義される。

The cost function is a layer of complexity on top of that.

It takes the 13,000 weights and biases as inputs and spits out a single measure of lousiness based on the training examples.

これは、13,000の重みとバイアスを入力とし、訓練例に基づいてお粗末さの単一の尺度を吐き出す。

And the gradient of the cost function is one more layer of complexity still.

そしてコスト関数の勾配は、さらに複雑なレイヤーを1つ増やすことになる。

It tells us what nudges to all of these weights and biases cause the fastest change to the value of the cost function, which you might interpret as saying which changes to which weights matter the most.

これらの重みとバイアスにどのようなナッジを加えると、コスト関数の値が最も速く変化するかを教えてくれる。

So, when you initialize the network with random weights and biases and adjust them many times based on this gradient descent process, how well does it actually perform on images that it's never seen before?

では、ランダムな重みとバイアスでネットワークを初期化し、この勾配降下プロセスに基づいて何度も調整した場合、実際に見たことのない画像に対してどの程度のパフォーマンスを発揮するのだろうか？

字幕リスト動画再生

勾配降下法、ニューラルネットワークの学習方法｜ディープラーニング第2章 (Gradient descent, how neural networks learn | Deep Learning Chapter 2)

relevant

struggle

recognize

figure

勾配降下法、ニューラルネットワークの学習方法｜ディープラーニング 第2章 (Gradient descent, how neural networks learn | Deep Learning Chapter 2)

relevant

struggle

recognize

figure

勾配降下法、ニューラルネットワークの学習方法｜ディープラーニング第2章 (Gradient descent, how neural networks learn | Deep Learning Chapter 2)