Questions like "why are we doing this" and "what does this actually mean"

では『あなたにとっての音楽とは?』との問いにあなたは『音符をいじること』と答えますか?」 －サージ・ラング

are too often left just floating away in an unanswered sea of computations.

「固有ベクトルと固有値」は、多くの学生が感覚をつかみにくいトピックの1つです

And as I put out the videos of the series,

「学ぶ理由は?」とか「その本義は？」といった疑問が

a lot of you have commented about looking forward to visualizing this topic in particular.

未解答の計算問題の海を漂うみたいに毎回のように残されます

I suspect that

このシリーズの動画をあげた時も

the reason for this is not so much that eigen-things are particularly complicated or poorly explained.

みなさん特にこのトピックをビジュアライズしてほしいとコメントしてくださりました

In fact, it's comparatively straightforward

思うに

and I think most books do a fine job explaining it.

固有何とかに関してとりわけ複雑だとか説明不足だという訳ではなさそうです

The issue is that

確かにこの分野は比較的直截的で

it only really make sense if you have a solid visual understanding for many of the topics that precede it.

たいていの本でもうまく説明されていると思います

Most important here is that you know how to think about matrices as linear transformations,

問題なのは

but you also need to be comfortable with things

このトピックに至るまでの諸分野で視覚的にはっきりイメージできないと理解しにくいということです

like determinants, linear systems of equations and change of basis.

ここで大事なのは君たちは線形変換としての行列の考え方を学んだということ

Confusion about eigen stuffs usually has more to do with a shaky foundation in one of these topics

だが以下の内容も受け入れてほしい

than it does with eigenvectors and eigenvalues themselves.

行列式、線型方程式系、基底変換といった内容です

To start, consider some linear transformation in two dimensions,

固有何とかへの混乱は固有ベクトル、固有値そのものに関するよりも多くのことに

like the one shown here.

その基礎のぐらつきにあることが普通です

It moves the basis vector i-hat to the coordinates (3, 0) and j-hat to (1, 2),

始めに、2次元での線形変換について考えてみよう

so it's represented with a matrix, whose columns are (3, 0) and (1, 2).

画面の通りに

Focus in on what it does to one particular vector

変換により基底ベクトルiハットは座標 (3, 0) へ、jハットは(1, 2)へ移動します

and think about the span of that vector, the line passing through its origin and its tip.

これを行列で表すとその列は (3, 0) と (1, 2)になります

Most vectors are going to get knocked off their span during the transformation.

ある1つのベクトルに注目して見てみよう

I mean, it would seem pretty coincidental

このベクトルのスパン、ベクトルの起点と終点を通る直線に着目する

if the place where the vector landed also happens to be somewhere on that line.

ほとんどのベクトルは変換中にスパンから外れていくだろう

But some special vectors do remain on their own span,

つまりベクトルの行き着く先が

meaning the effect that the matrix has on such a vector is just to stretch it or squish it, like a scalar.

たまたまこのライン上にあったとするならこれは偶然の一致とみなせます

For this specific example, the basis vector i-hat is one such special vector.

しかしある特別なベクトルはスパン上にとどまる

The span of i-hat is the x-axis,

つまりそのようなベクトルに対して行列はスカラーのように伸ばしたり縮めたりする効果をもたらします

and from the first column of the matrix,

今回の例で言えば基底ベクトル i ハットがこの特別なベクトルにあたります

we can see that i-hat moves over to 3 times itself, still on that x axis.

i ハットのスパンはx軸であり

What's more, because of the way linear transformations work,

行列の1列目から

any other vector on the x-axis is also just stretched by a factor of 3

i ハットは自身を3倍したところに動きx軸上に残る様子を見ることができます

and hence remains on its own span.

更には線形変換の働き方によって

A slightly sneakier vector that remains on its own span during this transformation is (-1, 1),

x軸上の任意のベクトルもまた3倍に引き伸ばされます

it ends up getting stretched by a factor of 2.

故にスパン上に残ります

And again, linearity is going to imply that

またこの変換で自身のスパンにとどまるベクトルが(-1, 1)に隠れていました

any other vector on the diagonal line spanned by this guy

これは2倍に引き伸ばされます

is just going to get stretched out by a factor of 2.

ここで再び線形性から言えることから

And for this transformation,

このベクトルのスパンである対角ライン上の任意のベクトルもまた

those are all the vectors with this special property of staying on their span.

2倍に引き伸ばされるでしょう

Those on the x-axis getting stretched out by a factor of 3

この変換については

and those on this diagonal line getting stretched by a factor of 2.

これらがスパン上にとどまるという特性を持ったベクトルのすべてです

Any other vector is going to get rotated somewhat during the transformation,

x軸上にあるものは3倍に引き伸ばされ

knocked off the line that it spans.

対角線上にあるものは2倍に引き伸ばされます

As you might have guessed by now,

その他のベクトルは変換によりいくらか回転され

these special vectors are called the "eigenvectors" of the transformation,

スパンから落とされます

and each eigenvector has associated with it, what's called an "eigenvalue",

お気づきでしょうが

which is just the factor by which it stretched or squashed during the transformation.

これら特殊なベクトルを今の変換における「固有ベクトル」と呼び

Of course, there's nothing special about stretching vs. squishing

各固有ベクトルは「固有値」と呼ばれるものと関連付けられます

or the fact that these eigenvalues happen to be positive.

これは変換における引き伸ばしまたは縮みの倍率です

In another example, you could have an eigenvector with eigenvalue -1/2,

もちろん、引き伸ばしか押し縮かの対立だとか

meaning that the vector gets flipped and squished by a factor of 1/2.

たまたま固有値が正の数でも特別なことはありません

But the important part here is that it stays on the line that it spans out without getting rotated off of it.

他の例では固有値-1/2の固有ベクトルがあったりします

For a glimpse of why this might be a useful thing to think about,

これは固有ベクトルが反転し1/2に縮むことを意味します

consider some three-dimensional rotation.

ここで大事なところはベクトルのスパンから外れることなく直線上に残ることです

If you can find an eigenvector for that rotation,

どうしてこの考えが役に立つか覗いてみよう

a vector that remains on its own span,

3次元回転を考えます

what you have found is the axis of rotation.

この回転での固有ベクトルを見つけたとするなら

And it's much easier to think about a 3-D rotation in terms of some axis of rotation and an angle by which is rotating,

自身のスパンにとどまるベクトルで

rather than thinking about the full 3-by-3 matrix associated with that transformation.

回転の軸を発見したことになります

In this case, by the way, the corresponding eigenvalue would have to be 1,

３次元回転を考えるにあたりある回転軸と回転の角度を考えるほうが

since rotations never stretch or squish anything,

変換に対応する３×３行列を考えるよりずっと簡単です

so the length of the vector would remain the same.

ところでこの場合では、回転で伸長も収縮も起こりえないために

This pattern shows up a lot in linear algebra.

固有値が１であるべきことから

With any linear transformation described by a matrix, you could understand what it's doing

ベクトルの長さは同じままです

by reading off the columns of this matrix as the landing spots for basis vectors.

このパターンは線形代数でよく出てきます

But often a better way to get at the heart of what the linear transformation actually does,

任意の線形変換を行列で書き表すことによって、行列の縦列を基底ベクトルの

less dependent on your particular coordinate system,

行き着く先と読み解くことでその挙動を理解できるでしょう

is to find the eigenvectors and eigenvalues.

しかし大抵は線形変換の実際の動きに関する核心に迫るもっといい方法があり

I won't cover the full details on methods for computing eigenvectors and eigenvalues here,

特定の座標系への依存を少なくできる

but I'll try to give an overview of the computational ideas

それは固有ベクトルと固有値を見つけることです

that are most important for a conceptual understanding.

固有ベクトルと固有値の計算メソッドの詳細については言及しませんが

Symbolically, here's what the idea of an eigenvector looks like.

計算のアイデアをざっくりと見せたいと思います

A is the matrix representing some transformation,

概念の理解で一番大事なことです

with v as the eigenvector,

記号の説明から、これが固有ベクトルのアイデアです

and λ is a number, namely the corresponding eigenvalue.

Aは変換を表す行列

What this expression is saying is that the matrix-vector product - A times v

vが固有ベクトル

gives the same result as just scaling the eigenvector v by some value λ.

そしてλが対応する固有値と呼ばれる数です

So finding the eigenvectors and their eigenvalues of a matrix A

この数式からいえることは行列とベクトルの積 A×v が

comes down to finding the values of v and λ that make this expression true.

ある値λによって固有ベクトルvをスケーリングしただけと同じ結果を与えることです

It's a little awkward to work with at first,

なので行列Aに対する固有ベクトルとその固有値を探すことは

because that left hand side represents matrix-vector multiplication,

この数式を成立させるvとλの値を探すことに帰着します

but the right hand side here is scalar-vector multiplication.

今の段階では少々厄介です

So let's start by rewriting that right hand side as some kind of matrix-vector multiplication,

なぜなら左辺は行列とベクトルの積を表し

using a matrix, which has the effect of scaling any vector by a factor of λ.

一方右辺はスカラーとベクトルの積を表すからです

The columns of such a matrix will represent what happens to each basis vector,

そこで右辺を行列とベクトルの積の形に書き直すところから始めましょう

and each basis vector is simply times λ,

ここで任意のベクトルをλ倍にする効果を持つ行列を使用します

so this matrix will have the number λ down the diagonal with 0's everywhere else.

そのような行列は縦列が各基底ベクトルへの作用を表し

The common way to write this guy is to factor that λ out and write it as λ times I,

今の場合単にλ倍するため

where I is the identity matrix with 1's down the diagonal.

この行列は対角成分に数λが入り他の成分は０になります

With both sides looking like matrix-vector multiplication,

一般的にはこの行列をλでくくりλ×Iと書きます

we can subtract off that right hand side and factor out the v.

ここでIは単位行列で対角成分が１になります

So what we now have is a new matrix - A minus λ times the identity,

両辺が行列とベクトルの積のようになって

and we're looking for a vector v, such that this new matrix times v gives the zero vector.

右辺で両辺を引きvで因数を引き出せます

Now this will always be true if v itself is the zero vector,

すると今の式で新しい行列、A - λI と

but that's boring.

求めようとするベクトルvが新しい行列とvの積がゼロベクトルになるようになります

What we want is a non-zero eigenvector.

さてvがゼロベクトルならば常に正しいですが

And if you watched Chapters 5 and 6,

それではつまらないです

you'll know that the only way it's possible for the product of a matrix with a non-zero vector to become zero

求めているのはノンゼロベクトルです

is if the transformation associated with that matrix squishes space into a lower dimension.

第5，6章を見ていれば

And that squishification corresponds to a zero determinant for the matrix.

行列とノンゼロベクトルの積がゼロになりうるただ1つの場合は

To be concrete, let's say your matrix a has columns (2, 1) and (2, 3),

行列に対応する変換が空間を低次元につぶす場合だとわかるでしょう

and think about subtracting off a variable amount λ from each diagonal entry.

そしてこの圧縮が起こるのは行列式がゼロになる時です

Now imagine tweaking λ, turning a knob to change its value.

具体例として列が(2, 1)と(2, 3)の行列があるとしよう

As that value of λ changes,

各対角成分を変数λで引き算したと考えよう

the matrix itself changes, and so the determinant of the matrix changes.

さてλを微調整しようとつまみを回して値を変えるところを想像しよう

The goal here is to find a value of λ that will make this determinant zero,

λの値が変わるにつれて

meaning the tweaked transformation squishes space into a lower dimension.

行列そのものも変わって故に行列式も変わっていきます

In this case, the sweet spot comes when λ equals 1.

今回の目的はその行列式を0にするλの値を探すことで

Of course, if we have chosen some other matrix,

つまり変換を微調整してより低い次元に空間がつぶれるようにします

the eigenvalue might not necessarily be 1, the sweet spot might be hit some other value of λ.

今の場合λが1に等しい時がジャストミートです

So this is kind of a lot, but let's unravel what this is saying.

もちろんほかの行列を選んだときは

When λ equals 1, the matrix A minus λ times the identity squishes space onto a line.

固有値は1である必要はなくジャストポイントはラムダが他の値になるときでしょう

That means there's a non-zero vector v,

話が長くなりましたがその主張を明かしましょう

such that A minus λ times the identity times v equals the zero vector.

λが1に等しい時（A引くλかける単位行列）が空間を1直線に圧縮します

And remember, the reason we care about that is because it means A times v equals λ times v,

つまりはあるノンゼロベクトルvがあり

which you can read off as saying that the vector v is an eigenvector of A,

（A引くλかける単位行列）かけるvがゼロベクトルに等しくなります

staying on its own span during the transformation A.

思い出しましょう。これを見てきた理由はA×v = λ×vに等しいからで

In this example, the corresponding eigenvalue is 1, so v would actually just a fixed in place.

この式からベクトルvがAの固有ベクトルで

Pause and ponder if you need to make sure that line of reasoning feels good.

Aの変換でそのスパンは変わらないことが読み取れます

This is the kind of thing I mentioned in the introduction,

この例では固有値が1であることからvはその場でしっかり固定されているでしょう

if you didn't have a solid grasp of determinants

必要に応じて一連の流れが確かか立ち止まって考えよう

and why they relate to linear systems of equations having non-zero solutions,

ある意味冒頭で示唆したことです

an expression like this would feel completely out of the blue.

行列式のこととそれが線型方程式系と

To see this in action, let's revisit the example from the start

非ゼロ解を持つこととの関連性についてちゃんとわかっていないなら

with the matrix whose columns are (3, 0) and (1, 2).

このような式は青天の霹靂のように感じるでしょう

To find if a value λ is an eigenvalue,

実際に動かしてみるために最初に例に挙げた

subtracted from the diagonals of this matrix and compute the determinant.

列が(3, 0)と(1, 2)の行列に立ち戻ろう

Doing this, we get a certain quadratic polynomial in λ, (3-λ)(2-λ).

λの値が固有値か確かめるために

Since λ can only be an eigenvalue if this determinant happens to be zero,

行列の対角成分を引いて行列式を計算してみます

you can conclude that the only possible eigenvalues are λ equals 2 and λ equals 3.

そうすると (3-λ)(2-λ) というλの二次多項式が得られます

To figure out what the eigenvectors are that actually have one of these eigenvalues, say λ equals 2,

λが固有値になるのは行列式が0になるときだけであることから

plug in that value of λ to the matrix

可能な固有値は λ=2、または λ=3 のときだけと結論付けられます

and then solve for which vectors this diagonally altered matrix sends to 0.

実際にその固有値の1つを持つ固有ベクトルが何か発見するために λ=2 として

If you computed this the way you would any other linear system,

行列内のλにその値を代入して

you'd see that the solutions are all the vectors on the diagonal line spanned by (-1, 1).

対角要素が変更された行列により0に移されるベクトルをはじき出します

This corresponds to the fact that the unaltered matrix [(3, 0), (1, 2)]

この方法で他の線形系を計算したとき

has the effect of stretching all those vectors by a factor of 2.

答えは(-1, 1)を延長した対角線上のすべてのベクトルになることがわかります

Now, a 2-D transformation doesn't have to have eigenvectors.

これは変形前の行列[(3, 0), (1, 2)]によって

For example, consider a rotation by 90 degrees.

これらすべてのベクトルが2倍に伸ばされることに対応します

This doesn't have any eigenvectors, since it rotates every vector off of its own span.

ところで2次元変換が固有ベクトルを持たなくてもいいです

If you actually try computing the eigenvalues of a rotation like this, notice what happens.

例えば90度回転を考えると

Its matrix has columns (0, 1) and (-1, 0),

全ベクトルが自身のスパンを離れて回転されるため固有ベクトルはありません

subtract off λ from the diagonal elements and look for when the determinant is 0.

実際にこのような回転の固有ベクトルを計算しようとしたときあることに気づきます

In this case, you get the polynomial λ^2+1,

行列は列として(0, 1)と(-1, 0)を持ちます

the only roots of that polynomial are the imaginary numbers i and -i.

対角成分をλで引き行列式が0になる時を探します

The fact that there are no real number solutions indicates that there are no eigenvectors.

この場合多項式 λ^2+1 が得られます

Another pretty interesting example worth holding in the back of your mind is a shear.

その多項式の根は虚数 i と -i だけです

This fixes i-hat in place and moves j-hat one over,

実数解が存在しない事実から固有ベクトルが存在しないことが示されます

so its matrix has columns (1, 0) and (1, 1).

もう1つ心の片隅においてほしい興味深い例がせん断です

All of the vectors on the x-axis are eigenvectors with eigenvalue 1, since they remain fixed in place.

iハットはその場にとどまりjハットは1つずれます

In fact, these are the only eigenvectors.

なのでその行列は列が(1, 0)と(1, 1)になります

When you subtract off λ from the diagonals and compute the determinant,

x軸上にあるベクトルのすべてがその場から動かずに残るため固有値1の固有ベクトルです

what you get is (1-λ)^2,

実は固有ベクトルはこれだけです

and the only root of this expression is λ equals 1.

対角成分からλを引いて行列式を計算したとき

This lines up with what we see geometrically that all of the eigenvectors have eigenvalue 1.

(1-λ)^2が得られます

Keep in mind though,

そしてこの式の根はλ=1ただ1つです

it's also possible to have just one eigenvalue, but with more than just a line full of eigenvectors.

幾何学的にみてもすべての固有ベクトルが固有値1を持つことと整合します

A simple example is a matrix that scales everything by 2,

これもあります

the only eigenvalue is 2, but every vector in the plane gets to be an eigenvector with that eigenvalue.

ただ1つの固有値で複数直線上の固有ベクトルをとることも可能です

Now is another good time to pause and ponder some of this

単純な例に何でも2倍にする行列があります

before I move on to the last topic.

固有値は2だけですが平面状のどのベクトルもこの固有値を持つ固有ベクトルになります

I want to finish off here with the idea of an eigenbasis,

最後のトピックに移る前の今が

which relies heavily on ideas from the last video.

振り返りのタイミングです

Take a look at what happens if our basis vectors just so happened to be eigenvectors.

今から固有基底というアイデアで終わりにしたいと思います

For example, maybe i-hat is scaled by -1 and j-hat is scaled by 2.

次動画の考えに強く関係しています

Writing their new coordinates as the columns of a matrix,

基底ベクトルが偶然固有ベクトルだったらどうなるか目を向けよう

notice that those scalar multiples -1 and 2, which are the eigenvalues of i-hat and j-hat,

例にiハットが‐1倍に、jハットが2倍になるかもしれない

sit on the diagonal of our matrix and every other entry is a 0.

その新ベクトルを列とする行列を書けば

Anytime a matrix has 0's everywhere other than the diagonal,

iハットとjハットの固有値にもなっているスカラー倍-1と2が

it's called, reasonably enough, a diagonal matrix.

行列の対角成分にあり他に0が入ることに気づきます

And the way to interpret this is that all the basis vectors are eigenvectors,

行列の対角成分以外がどこも0である場合

with the diagonal entries of this matrix being their eigenvalues.

当然のことながら対角行列と呼ばれます

There are a lot of things that make diagonal matrices much nicer to work with.

これを別の言葉で表現するなら全基底ベクトルが固有ベクトルになり

One big one is that

その行列の対角成分が固有値になります

it's easier to compute what will happen if you multiply this matrix by itself a whole bunch of times.

対角行列が非常に役に立つことはたくさんありますが

Since all one of these matrices does is scale each basis vector by some eigenvalue,

その中でも特に

applying that matrix many times, say 100 times,

行列をそれ自身で何度も積をとればどうなるかを簡単に計算できます

is just going to correspond to scaling each basis vector by the 100-th power of the corresponding eigenvalue.

どの対角行列でも基底ベクトルをある固有値でスカラー倍することから

In contrast, try computing the 100-th power of a non-diagonal matrix.

100倍でも何倍でも行列をかけようと思えば

Really, try it for a moment, it's a nightmare.

各基底ベクトルを対応する固有値の100乗倍するだけのことになります

Of course, you will rarely be so lucky as to have your basis vectors also be eigenvectors,

対して非対角行列の100乗を計算しようとします

but if your transformation has a lot of eigenvectors, like the one from the start of this video,

少しやってみても、まさに悪夢です

enough so that you can choose a set that spans the full space,

もちろん基底ベクトルが固有ベクトルにもなっているような幸運はめったにありませんが

then you could change your coordinate system so that these eigenvectors are your basis vectors.

この動画の最初の例のようにいくつもの固有ベクトルを持つ変換であるなら

I talked about change of basis last video,

全空間に拡張する組を選べれば十分で

but I'll go through a super quick reminder here

座標系を固有ベクトルが基底ベクトルになるように変更できるでしょう

of how to express a transformation currently written in our coordinate system into a different system.

基底変換は次の動画で話しますが

Take the coordinates of the vectors that you want to use as a new basis,

手っ取り早いリマインダーを流します

which, in this case, means are two eigenvectors,

現在の座標系で書かれた変換を別の座標系で表現する方法です

that make those coordinates the columns of a matrix, known as the change of basis matrix.

新しく基底として使用したいベクトルの座標を持ってきます

When you sandwich the original transformation

この場合2つの固有ベクトルです

putting the change of basis matrix on it's right

その座標を列とする行列を作ります

and the inverse of the change of basis matrix on its left,

これが基底変換行列です