Name: しかし、AIの画像や動画は実際にどのように機能するのか？| ウェルチ・ラボによるゲストビデオ (But how do AI images and videos actually work? | Guest video by Welch Labs)
Uploaded: 2025-09-27T00:44:38.000Z
Duration: 37 min 20 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

Over the last few years, AI systems have become astonishingly good at turning text prompts into videos.

ここ数年で、AIシステムはテキストプロンプトをビデオに変えるのが驚くほどうまくなった。

At the core of how these models operate is a deep connection to physics.

これらのモデルの動作の中核には、物理学との深いつながりがある。

関係詞節（制限と非制限）

This generation of image and video models works using a process known as diffusion, which is remarkably equivalent to the Brownian motion we see as particles diffuse, but with time run backwards, and in high-dimensional space.

この画像と映像モデルの生成は、拡散として知られるプロセスを使って行われる。拡散は、粒子が拡散するときに見られるブラウン運動と驚くほど等しいが、時間が逆行し、高次元空間で行われる。

As we'll see, this connection to physics is much more than a curiosity.

後述するように、この物理学とのつながりは単なる好奇心以上のものだ。

We get real algorithms out of the physics that we can use to generate images and videos.

私たちは、画像やビデオを生成するために使用できる物理学から実際のアルゴリズムを得ることができる。

And this perspective will also give us some really nice intuitions for how these models work in practice.

そして、この視点は、これらのモデルが実際にどのように機能するかについて、実に素晴らしい直感を与えてくれるだろう。

But before we dive into this connection, let's get hands-on with a real diffusion model.

しかし、このつながりに飛び込む前に、実際の拡散モデルを使ってみよう。

While the best models are closed-source, there are some compelling open-source models.

最高のモデルはクローズドソースだが、オープンソースにも魅力的なモデルがある。

This video of an astronaut was generated by an open-source model called WAN 2.1.

この宇宙飛行士の映像は、WAN2.1と呼ばれるオープンソースのモデルによって生成された。

We can add to our prompt and have our astronaut hold a flag, hold a laptop, or hold a meeting.

プロンプトに追加して、宇宙飛行士に旗を持たせたり、ノートパソコンを持たせたり、会議を開かせたりすることもできる。

If we cut down our prompt to just an astronaut, we get this.

プロンプトを宇宙飛行士だけに絞るとこうなる。

And if we cut down our prompt to nothing, we interestingly still get this video of a  If we dig into our WAN model's source code, we'll find that the video generation process begins with this call to a random number generator.

WANモデルのソースコードを調べてみると、ビデオ生成プロセスは乱数ジェネレーターの呼び出しから始まっていることがわかる。

Creating a video where the pixel intensity values are chosen randomly.

ピクセルの強度値がランダムに選択されるビデオを作成する。

From here, this pure noise video is passed into a transformer.

ここから、このピュアノイズ映像はトランスに渡される。

This is the same type of AI model used by large language models like ChatGPT.

これは、ChatGPTのような大規模な言語モデルで使われているのと同じタイプのAIモデルだ。

But instead of outputting text, this transformer outputs another video that now looks like this.

しかし、このトランスフォーマーはテキストを出力する代わりに、次のような別のビデオを出力する。

Still mostly noise, but with some hints of structure.

まだほとんどがノイズだが、構造のヒントもある。

This new video is added to our pure noise video, and then passed back into the model again, producing a third video that looks like this.

この新しい映像は、ピュアノイズ映像に追加され、再びモデルに戻され、次のような3つ目の映像が生成される。

This process is repeated again and again.

このプロセスは何度も繰り返される。

Here's what the video looks like after 5 iterations, 10, 20, 30, 40, and finally 50.

以下は、5回、10回、20回、30回、40回、そして最後に50回繰り返した後の映像である。

Step by step, our transformer shapes pure noise into incredibly realistic video.

ステップ・バイ・ステップで、私たちのトランスフォーマーは、純粋なノイズを信じられないほどリアルな映像に形作ります。

But what exactly is the connection to Brownian motion here?

しかし、ここで言うブラウン運動とは一体どういう関係なのだろうか？

And how is our model able to use text input so expressively to shape noise into what our prompt describes?

そして、なぜ我々のモデルは、テキスト入力をこれほどまでに表現力豊かに使いこなし、ノイズをプロンプトが説明するように形作ることができるのか？

In this video, we'll unpack diffusion models in three parts.

このビデオでは、拡散モデルを3つのパートに分けて解説する。

First we'll look at a 2021 OpenAI paper and model called CLIP.

まず、2021年のOpenAIの論文とCLIPと呼ばれるモデルを見てみよう。

As we'll see, CLIP is really two models, a language model and a vision model, that are trained using a clever learning objective that allows them to learn this really powerful shared space between words and pictures.

これから見るように、CLIPは言語モデルと視覚モデルの2つのモデルで構成され、言葉と絵の間の共有空間を学習するための巧妙な学習目標を使って訓練される。

Experimenting with this space will help us get a feel for the high dimensional spaces that diffusion models operate in.

この空間を使って実験することは、拡散モデルが作用する高次元空間の感覚をつかむのに役立つだろう。

But learning a shared representation is not enough to generate images.

しかし、画像を生成するには、共有表現を学習するだけでは不十分だ。

From here we'll look at the diffusion process itself.

ここからは拡散プロセスそのものを見ていく。

At a high level, diffusion models are trained to remove noise from images or videos.

高度なレベルでは、拡散モデルは画像や動画からノイズを除去するために学習される。

However, if you dig into the landmark papers in the field, you'll find that this naive understanding of diffusion really doesn't hold up in practice.

しかし、この分野の画期的な論文を掘り下げると、拡散に関するこの素朴な理解が実際には通用しないことがわかる。

In this section, we'll dig into the connection between diffusion models and diffusion processes in physics.

このセクションでは、拡散モデルと物理学における拡散過程との関連について掘り下げていく。

This connection will help us understand how these models really work in practice and give us some powerful theory for dramatically speeding up image and video generation.

この接続は、これらのモデルが実際にどのように機能するかを理解するのに役立ち、画像やビデオの生成を劇的に高速化するための強力な理論を与えてくれるだろう。

Finally, we'll bring these worlds together and see how approaches like CLIP are combined with diffusion models to condition and guide the generation process towards the videos we asked for in our props. 2020 was a landmark year for language modeling.

最後に、これらの世界をひとつにまとめ、CLIPのようなアプローチが拡散モデルとどのように組み合わされ、私たちが小道具に求めた映像に向けて生成プロセスを条件付けし、導くかを見ていく。2020年は言語モデリングにとって画期的な年だった。

New results in neural scaling laws and OpenAI's GPT-3 showed that bigger really was better.

ニューラル・スケーリング法則とOpenAIのGPT-3における新たな結果は、大きいことは本当に良いことであることを示した。

Massive models trained on massive datasets had capabilities that simply didn't exist in smaller models.

膨大なデータセットでトレーニングされた大規模なモデルは、小規模なモデルには存在しない能力を持っていた。

It didn't take long for researchers to apply similar ideas to images.

研究者たちが同様のアイデアを画像に応用するのに時間はかからなかった。

In February 2021, a team at OpenAI released a new model architecture called CLIP, trained on a dataset of 400 million image and caption pairs scraped from the internet.

2021年2月、OpenAIのチームは、インターネットからかき集めた4億の画像とキャプションのペアのデータセットで学習させたCLIPと呼ばれる新しいモデルアーキテクチャを発表した。

CLIP is composed of two models, one that processes text and one that processes images.

CLIPは、テキストを処理するモデルと画像を処理するモデルの2つで構成されている。

The output of each of these models is a vector of length 512, and the central idea is that the vectors for a given image and its caption should be similar.

これらのモデルの出力はそれぞれ長さ512のベクトルであり、中心的な考え方は、与えられた画像とそのキャプションのベクトルは似ているはずだということである。

To achieve this, the OpenAI team developed a clever training approach.

これを実現するために、OpenAIチームは巧妙なトレーニング方法を開発した。

Given a batch of image-caption pairs, for example our batch could contain a picture of a cat, a dog, and me, with the captions a photo of a cat, a photo of a dog, and a photo of a man, we then pass our three images into our image model, and our three captions into our text model.

画像とキャプションのペアのバッチが与えられると、例えば、バッチには猫、犬、私の写真が含まれ、キャプションは猫の写真、犬の写真、男性の写真である。

We now have three image vectors and three text vectors, and we would like the vectors for the matching image-caption pairs to be similar.

今、3つの画像ベクトルと3つのテキストベクトルがあり、一致する画像とキャプションのペアのベクトルが似ていることを望みます。

The clever idea from here is to make use of the similarity not just between the corresponding images and captions, but between all image-caption pairs in the batch when training our models.

ここからの賢いアイデアは、モデルを学習する際に、対応する画像とキャプションの間だけでなく、バッチ内のすべての画像とキャプションのペアの間の類似性を利用することである。

If we arrange our image vectors as the columns of a matrix, and our text vectors as the rows, the pairs of vectors along the diagonal of our matrix correspond to matching images and captions, and all the pairs off-diagonal are non-matching images and captions.

画像ベクトルを行列の列として、テキストベクトルを行として並べると、行列の対角線に沿ったベクトルのペアが一致する画像とキャプションに対応し、対角線から外れたペアはすべて一致しない画像とキャプションに対応する。

The CLIP training objective seeks to maximize the similarity between corresponding image-caption pairs, while simultaneously minimizing the similarity between non-corresponding image-caption pairs.

CLIPの学習目的は、対応する画像とキャプションのペア間の類似度を最大化し、同時に非対応の画像とキャプションのペア間の類似度を最小化することである。

The C in CLIP stands for contrastive, because the model learns to contrast matching and non-matching image-caption pairs.

CLIPのCはcontrastiveの略で、このモデルは画像とキャプションのペアが一致する場合と一致しない場合の対比を学習するためである。

The CLIP algorithm measures similarity between vectors using a metric called cosine similarity.

CLIPアルゴリズムは、余弦類似度と呼ばれるメトリックを用いてベクトル間の類似性を測定する。

Geometrically, we can think of each of these vectors as pointing in some direction in high-dimensional space.

幾何学的には、これらのベクトルはそれぞれ高次元空間のある方向を指していると考えることができる。

Cosine similarity measures the cosine of the angle between our vectors in this space.

コサイン類似度は、この空間におけるベクトル間の角度の余弦を測定する。

So if our text and image vector point in the same direction, the angle between our vectors will be zero, resulting in a maximum value for our cosine similarity score of one.

つまり、テキストと画像のベクトルが同じ方向を向いている場合、ベクトル間の角度はゼロとなり、余弦類似度スコアの最大値は1となります。

So the image and text models that make up CLIP are trained to maximize the alignment of related images and captions in this shared high-dimensional space, while minimizing the alignment between unrelated images and captions.

そのため、CLIPを構成する画像モデルとテキストモデルは、この共有された高次元空間において、関連する画像とキャプションのアライメントを最大化し、一方、関連しない画像とキャプションのアライメントを最小化するように学習される。

The learned geometry of this shared vector space, known as a latent or embedding space, has some really interesting properties.

潜在空間または埋め込み空間として知られるこの共有ベクトル空間の学習幾何学は、実に興味深い性質を持っている。

If I take two pictures of myself, one not wearing a hat and one wearing a hat, and pass both of these into our CLIP image model, we get two vectors in our embedding space.

帽子をかぶっていない自分とかぶっている自分の写真を2枚撮り、その両方をCLIP画像モデルに渡すと、埋め込み空間に2つのベクトルができる。

Now if I take the vector corresponding to me wearing a hat, and subtract the vector of me not wearing a hat, we get a new vector in our embedding space.

ここで、帽子をかぶっている私に対応するベクトルを取り、帽子をかぶっていない私に対応するベクトルを引くと、埋め込み空間に新しいベクトルができる。

Now what text might this new vector correspond to?

さて、この新しいベクトルはどんなテキストに対応するだろうか？

Mathematically, we took the difference of me wearing a hat and me not wearing a hat.

数学的には、帽子をかぶっている私とかぶっていない私の差を取ったんだ。

We can search for corresponding text by passing a bunch of different words into our text encoder, and for each computing the cosine similarity between our newly computed difference vector and the text vector.

テキストエンコーダにさまざまな単語を渡し、それぞれについて新しく計算した差分ベクトルとテキストベクトルとの余弦類似度を計算することで、対応するテキストを検索することができる。

Testing a set of a few hundred common words, the top ranked match with a similarity of 0.165 is the word hat, followed by cap and helmet.

数百の一般的な単語をテストした結果、類似度0.165で一致した単語のトップはhat、次いでcap、helmetとなった。

The learned geometry of CLIP's embedding space allows us to operate mathematically on the pure ideas or concepts in our images and text, translating the differences in the content of our images, like if there's a hat or not, into a literal distance between vectors in our embedding space.

CLIPの埋め込み空間の学習された幾何学によって、私たちは画像やテキストに含まれる純粋なアイデアや概念を数学的に操作することができ、例えば帽子があるかないかといった画像の内容の違いを、埋め込み空間のベクトル間の文字通りの距離に変換することができる。

The OpenAI team showed that CLIP could produce very impressive image classification results by simply passing an image into our image encoder and then comparing the resulting vector to a set of possible captions, one for each label that could be assigned to the image, and classifying the image with whatever label resulted in the highest cosine similarity.

OpenAIチームは、CLIPが画像エンコーダに画像を渡すだけで、非常に印象的な画像分類結果を生成できることを示しました。その結果得られるベクトルを、画像に割り当てられる可能性のあるラベルごとに1つずつ用意されたキャプションのセットと比較し、コサイン類似度が最も高くなるラベルで画像を分類します。

So techniques like CLIP give us a powerful shared representation of image and text, a kind of vector space of pure ideas.

CLIPのような技術は、画像とテキストの強力な共有表現、純粋なアイデアのベクトル空間のようなものを与えてくれる。

However, our CLIP models only go one direction.

しかし、私たちのCLIPモデルは一方向にしか進まない。

We can only map image and text to our shared embedding space.

我々は、画像とテキストを共有埋め込み空間にマッピングすることしかできない。

We have no way of generating images and text from our embedding vectors. 2020 turned out not only to be a transformative year for language modeling.

埋め込みベクトルから画像やテキストを生成する方法がないのだ。2020年は、言語モデリングにとって変革の年となっただけではない。

A few weeks after the GPT-3 paper came out, a team at Berkeley published a paper called Denoising Diffusion Probabilistic Models, now known as DDPM.

GPT-3の論文が発表された数週間後、バークレー校のチームがDenoising Diffusion Probabilistic Models（拡散確率モデル）という論文を発表した。

The paper showed for the first time that it was possible to generate very high quality images using a diffusion process, where pure noise is transformed step-by-step into realistic images.

この論文は、純粋なノイズを段階的に現実的な画像に変換する拡散プロセスを用いて、非常に高品質な画像を生成できることを初めて示した。

The core idea behind diffusion models is pretty straightforward.

拡散モデルの核となる考え方は非常に単純だ。

We take a set of training images and add noise to each image step-by-step until the image is completely destroyed.

一組のトレーニング画像を用意し、画像が完全に破壊されるまで、それぞれの画像に段階的にノイズを加えていく。

From here we train a neural network to reverse this process.

ここから、このプロセスを逆転させるニューラルネットワークを訓練する。

When I first learned about diffusion models, I assumed that the models would be trained to remove noise a single step at a time.

拡散モデルについて初めて学んだとき、私は、モデルは一度に一段階ずつノイズを除去するように訓練されるものと思っていた。

Our model would be trained to predict the image in step 1, given the noisier image in step 2, trained to predict the image in step 2, given the noisier image in step 3, and so on.

私たちのモデルは、ステップ1の画像を予測するように訓練され、ステップ2のノイズの多い画像が与えられると、ステップ2の画像を予測するように訓練され、ステップ3のノイズの多い画像が与えられると、ステップ2の画像を予測するように訓練される、といった具合だ。

When it came time to generate an image, we would pass pure noise into our model, take its output, and pass it back into its input again and again.

画像を生成するとき、私たちは純粋なノイズをモデルに渡し、その出力を受け取り、また入力に戻すということを何度も繰り返した。

And after enough steps, we would have a nice image.

そして、十分なステップの後、私たちは素敵な画像を手に入れるだろう。

Now it turns out that this naive approach to building a diffusion model really does not work well.

拡散モデルを構築するためのこの素朴なアプローチは、実際にはうまく機能しないことがわかった。

Virtually no modern models work like this.

現代のモデルでこのような働きをするものはほとんどない。

These are the training and image generation algorithms from the Berkeley team's paper.

これらは、バークレー校のチームの論文にあるトレーニング・アルゴリズムと画像生成アルゴリズムである。

The notation is a bit dense, but there are some key details we can pull out that will help us understand what it takes to make these models really work.

記法は少し難しいが、これらのモデルを実際に機能させるために何が必要かを理解するのに役立つ、いくつかの重要な詳細がある。

The first thing that surprised me is that the team added random noise to images not just during training, but also during image generation.

まず驚いたのは、研究チームがトレーニング時だけでなく、画像生成時にもランダムなノイズを画像に加えたことだ。

Algorithm 2 tells us that when generating new images, at each step, after our neural network predicts a less noisy image, we need to add random noise to this image before passing it back into our model.

アルゴリズム2は、新しい画像を生成する際、ニューラルネットワークがノイズの少ない画像を予測した後、各ステップで、モデルに戻す前にこの画像にランダムなノイズを加える必要があることを教えてくれる。

This added noise turns out to matter a lot in practice.

この追加ノイズは、実際には非常に重要であることが判明した。

If we take a popular diffusion model like Stable Diffusion 2, and use the Berkeley team's image generation approach, known as DDPM sampling, we can get some really nice images.

Stable Diffusion 2のような一般的な拡散モデルを使用し、DDPMサンプリングとして知られるバークレーチームの画像生成アプローチを使用すれば、本当に素晴らしい画像を得ることができる。

Here's the image we get when prompting the model with this prompt, asking for a tree in the desert.

このプロンプトでモデルを促し、砂漠にある木を求めると、こんなイメージになる。

Now if we remove the line of code that adds noise at each step of the generation process, we end up with a tiny, sad, blurry tree.

ここで、生成プロセスの各段階でノイズを加えるコード行を削除すると、小さくて悲しい、ぼやけたツリーになってしまう。

How is it that adding random noise while generating images leads to better quality, sharper images?

画像を生成する際にランダムなノイズを加えると、より高画質でシャープな画像になるのはなぜか？

The second thing that surprised me when I encountered the Berkeley team's approach was that the team wasn't training models to reverse a single step in the noise addition process.

バークレー校のチームのアプローチに出会って驚いたことの2つ目は、チームがノイズの追加プロセスの1ステップを逆にするモデルをトレーニングしていなかったことだ。

Instead, the team takes an initial clean image, which they call X0, and adds scaled random noise to the image, which they call epsilon.

その代わりに、研究チームはX0と呼ぶ初期のクリーンな画像を取得し、εと呼ぶスケーリングされたランダムノイズを画像に加える。

And from here, they train the model to predict the total noise that was added to the original image.

そしてここから、元の画像に加えられたノイズの総量を予測するモデルを訓練する。

So the team is effectively asking the model to skip all the intermediate steps, and make a prediction about the original image.

つまり研究チームは、モデルにすべての中間ステップをスキップさせ、元の画像について予測するよう求めているのだ。

Intuitively, this learning task seems much more difficult to me than just learning to make a noisy image slightly less noisy.

直感的に、この学習タスクは、ノイズの多い画像をわずかにノイズが少なくなるように学習するよりも、私にはずっと難しく思える。

The Berkeley team's paper and approach was a landmark result that put diffusion on the map.

バークレー校のチームの論文とアプローチは、拡散を地図に載せる画期的な結果だった。

Why does adding random noise while generating images, and training the model like this, work so well?

画像を生成する際にランダムなノイズを加え、このようにモデルをトレーニングすると、なぜこれほどうまくいくのだろうか？

The DDPM paper draws on some fairly complex theory to arrive at these algorithms.

DDPMの論文は、これらのアルゴリズムに到達するために、かなり複雑な理論を駆使している。

I'll include a link to a great tutorial in the description if you want to dig deeper into the theory.

理論をもっと深く掘り下げたければ、説明文に素晴らしいチュートリアルへのリンクを載せておく。

Happily, it turns out that there's a different but mathematically equivalent way of understanding what diffusion models are really learning, that we can use to get a visual and intuitive sense for why the DDPM algorithms work so well.

幸いなことに、拡散モデルが実際に何を学習しているのかを理解するには、別の、しかし数学的には等価な方法があることがわかった。

The key will be thinking of diffusion models as learning a time-varying vector field.

重要なのは、拡散モデルを時変ベクトル場の学習として考えることだ。

This perspective also leads to a more general approach, called flow-based models, which have become very popular recently.

この視点はまた、フローベースモデルと呼ばれる、より一般的なアプローチにもつながっており、これらは最近非常に人気がある。

To see how diffusion models learn this time-varying vector field, let's temporarily simplify our learning problem.

拡散モデルがこの時変ベクトル場をどのように学習するかを見るために、学習問題を一時的に単純化してみよう。

字幕リスト動画再生

しかし、AIの画像や動画は実際にどのように機能するのか？| ウェルチ・ラボによるゲストビデオ (But how do AI images and videos actually work? | Guest video by Welch Labs)

specific

equivalent

approach

process