Name: AIはいかにして見ることを学んだか【DINOv3 (How AI Taught Itself to See [DINOv3])
Uploaded: 2025-10-01T01:29:34.000Z
Duration: 15 min 57 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

様態の副詞

When we look at images, we can easily recognize objects, semantics, and understand the 3D geometry of the world.

私たちは画像を見て、物体や意味を簡単に認識し、世界の3次元形状を理解することができる。

しかし、コンピューターにそんなことができるのだろうか？

In this video, we will explore how AI learned to see without label data.

このビデオでは、AIがどのようにしてラベルデータなしで見ることを学んだかを探る。

For a computer, an image is just a grid of numbers.

コンピューターにとって、画像は数字のグリッドにすぎない。

To make sense of these numbers, AI needs to extract meaningful features from an image.

これらの数字の意味を理解するために、AIは画像から意味のある特徴を抽出する必要がある。

Good features help us identify which regions of the image are similar to the red cross, revealing semantic structures even in a complex cluttered scene.

優れた特徴は、画像のどの領域が赤十字と類似しているかを識別するのに役立ち、複雑で乱雑なシーンであっても意味構造を明らかにする。

Let's look at a simple example to see why features are important.

なぜ機能が重要なのか、簡単な例を見てみよう。

Here we have data points from two groups, blue and orange.

ここでは、青とオレンジの2つのグループからデータを得ている。

In this space, building a linear classifier to separate the two groups is very hard.

この空間では、2つのグループを分離する線形分類器を構築するのは非常に難しい。

No matter how we try, we can't find a good way to separate them.

どうあがいても、2人を引き離すいい方法は見つからない。

Now let's transform the data into radial coordinates.

では、データをラジアル座標に変換してみよう。

By changing our perspective on the data, separating the two groups with a straight line becomes much easier.

データに対する見方を変えることで、直線で2つのグループを分けることがより簡単になる。

This example highlights the importance of having good feature representations.

この例は、優れた特徴表現を持つことの重要性を強調している。

But how do we design an effective feature representation?

しかし、どうすれば効果的な特徴表現を設計できるのだろうか？

One way is to learn features by training a new network to solve tasks like classification.

1つの方法は、分類のようなタスクを解決するために新しいネットワークを訓練することによって特徴を学習することである。

On top of the extracted features, we place an output projection head, typically a linear layer or a multilayer perceptron, that predicts class scores.

抽出された特徴量の上に、出力投影ヘッド、通常は線形層または多層パーセプトロンを配置し、クラススコアを予測する。

We then use a softmax layer to turn the scores into probabilities for each class.

次にソフトマックス層を使って、スコアを各クラスの確率に変える。

真のラベルはワンホットベクトルである。

We train the model to make its predicted probabilities match this label by minimizing cross-entropy loss.

クロスエントロピー損失を最小化することで、予測確率がこのラベルに一致するようにモデルを訓練する。

This loss measures the difference between the predicted probability distributions from the softmax layer and the actual one-hot encoded label.

この損失は、ソフトマックス層から予測された確率分布と、実際に1ショット符号化されたラベルとの差を測定する。

After training the model on a large label dataset, we can use its learned weights as a great starting point for new tasks.

大規模なラベルデータセットでモデルを訓練した後、学習した重みを新しいタスクの出発点として使うことができる。

This process is called transfer learning.

このプロセスは転移学習と呼ばれる。

It allows us to fine-tune the model for a wide range of applications, such as fine-grained classification, object detection, or semantic segmentation.

これにより、きめ細かな分類、物体検出、セマンティックセグメンテーションなど、幅広い用途向けにモデルを微調整することができる。

However, class labels are often too simple.

しかし、クラスラベルは単純すぎることが多い。

They only tell us the main object in the image, like bear or cat.

熊や猫など、画像内の主な対象がわかるだけだ。

But they do not describe all the rich, fine-grained details inside the image.

しかし、画像内部の豊かできめ細かいディテールをすべて描写することはできない。

Natural language, like captions or descriptions, can give us much more information.

キャプションや説明文のような自然言語は、私たちにもっと多くの情報を与えてくれる。

For example, a caption might say, a friendly bear waves hello, or a cat reclines on the pavement.

例えば、人懐っこい熊が手を振って挨拶しているとか、猫が舗道に寝そべっているといったキャプションだ。

This tells us about objects, their actions, and scene.

これは、対象物やその行動、シーンについて教えてくれる。

To use this extra information, we add a text encoder.

この余分な情報を利用するために、テキスト・エンコーダを追加する。

The text encoder turns the caption or description into a feature vector, just like the image encoder does for the image.

テキストエンコーダーは、画像エンコーダーが画像に対して行うのと同じように、キャプションや説明を特徴ベクトルに変換する。

Intuitively, we want the feature vectors for the image and the feature vector for its matching caption to be as similar as possible.

直感的には、画像の特徴ベクトルと、それにマッチするキャプションの特徴ベクトルができるだけ似ていることを望む。

This means the model learns that the image and its captions are related.

つまり、モデルは画像とそのキャプションが関連していることを学習する。

At the same time, we want the image and text features for pairs that do not match to be far apart.

同時に、一致しないペアの画像とテキストの特徴が離れていることを望む。

Let's visualize the image and text features as 2D vectors.

画像とテキストの特徴を2次元ベクトルとして視覚化してみよう。

We normalize them so that they have unit lengths.

長さが単位になるように正規化する。

We measure similarity by looking at the angle between the two vectors.

2つのベクトル間の角度を見ることで類似性を測定する。

Since the vectors are normalized, the dot product directly reflects how similar they are.

ベクトルは正規化されているため、ドット積は両者がどれだけ似ているかを直接反映する。

The closer the dot product is to 1, the smaller the angle and the more similar the features.

点積が1に近いほど角度が小さく、特徴が似ている。

This is what we want to see after training.

これがトレーニング後に見たいものだ。

Along the diagonal, the features from matching image-text pairs are well aligned.

対角線に沿って、一致する画像とテキストのペアの特徴がうまく整列している。

Off the diagonal, the features from non-matching pairs become dissimilar.

対角線を外れると、一致しないペアの特徴は非類似になる。

This is known as contrastive language image pre-training, or CLIP.

これは対照言語イメージ事前訓練（CLIP）として知られている。

By training on 400 million image-text pairs, the image encoder learns to capture and generalize a wide range of visual concepts.

4億の画像とテキストのペアで学習することで、画像エンコーダーは幅広い視覚的概念を捉え、一般化することを学習する。

But this type of training is expensive because it requires human annotation for every image.

しかし、このタイプのトレーニングは、すべての画像に人間が注釈を付ける必要があるため、コストがかかる。

Can we train our image encoder without any labels, using only images?

画像だけを使って、ラベルなしで画像エンコーダーを訓練できますか？

If we can achieve this, we can leverage the enormous amount of unlabeled images already available to train our models at scale.

これが実現できれば、すでに利用可能な膨大な量のラベルなし画像を活用して、モデルを大規模に学習させることができる。

This is the goal of self-supervised learning.

これが自己教師あり学習の目標である。

Just like supervised learning, we extract image features, add an output head, and use a loss function.

教師あり学習と同じように、画像の特徴を抽出し、出力ヘッドを追加し、損失関数を使う。

The challenge here is to create a supervision signal for training, but without relying on any human-provided labels.

ここでの課題は、人間が提供したラベルに頼ることなく、トレーニング用の監視信号を作成することである。

Over the years, researchers have developed creative strategies for self-supervised learning.

長年にわたり、研究者たちは自己教師あり学習のための独創的な戦略を開発してきた。

For example, we can train the model to colorize an image, predict the rotation angle of an image, impan the center patch from the surrounding context, or more generally, predict missing local patches from randomly masked input images.

例えば、画像をカラー化する、画像の回転角度を予測する、周囲のコンテキストから中心パッチをインパネする、より一般的には、ランダムにマスクされた入力画像から欠落した局所パッチを予測する、などのモデルを訓練することができる。

However, training on these manually designed tasks does not reinforce learning representations that are semantically rich or transferable.

しかし、このような手動で設計されたタスクでのトレーニングは、意味的に豊かで転送可能な学習表現を強化するものではない。

Let's revisit the contrastive learning idea.

対比的学習という考え方をもう一度見直してみよう。

We extract image features from two different augmented views of input images.

入力画像の2つの異なる拡張ビューから画像特徴を抽出する。

The objective is to bring the embedding vectors from matching pairs closer, while pushing embeddings of different images far apart.

目的は、異なる画像の埋め込みを遠くに押しやりながら、一致するペアの埋め込みベクトルを近づけることである。

More specifically, we compute the pairwise similarity of all pairs using vector dot product.

より具体的には、ベクトルのドット積を使ってすべてのペアのペア類似度を計算する。

Here, Sij denotes the similarity score between i's embedding vector and j's embedding vector.

ここで、Sijはiの埋め込みベクトルとjの埋め込みベクトルの類似度スコアを表す。

We highlight positive pairs with yellow boxes, and negative pairs with blue boxes.

ポジティブなペアは黄色のボックスで、ネガティブなペアは青色のボックスで強調している。

During training, the model learns to increase the similarity for positive pairs.

訓練中、モデルは正のペアに対して類似度を高めるように学習する。

Intuitively, we train the model to extract feature representations that are stable under different augmented views.

直感的には、異なる拡張ビューのもとでも安定した特徴表現を抽出するようにモデルを訓練する。

これがシムクリアの核となる考え方だ。

When contrastive learning has been successful, making it work is challenging.

対照学習が成功した場合、それを機能させるのは難しい。

The main issue is that it needs a large number of negative samples to avoid learning trivial representations.

主な問題は、些細な表現を学習するのを避けるために、多数の否定的なサンプルを必要とすることである。

As a result, training requires very large batch size and is computationally expensive.

その結果、トレーニングには非常に大きなバッチサイズが必要となり、計算コストがかかる。

To tackle this challenge, let's look at how it could work with a single image.

この課題に取り組むために、1枚の画像でどのように機能するかを見てみよう。

Given an input image, we create two augmented views like different crops.

入力画像があれば、異なる作物のような2つの拡張ビューを作成する。

We call the image encoders a student and teacher models.

この画像エンコーダを生徒モデルと教師モデルと呼ぶ。

We extract features, feed them into a projection head to obtain logics, and then apply a softmax function to produce probability distributions.

特徴量を抽出し、それを射影ヘッドに入力して論理を求め、ソフトマックス関数を適用して確率分布を生成する。

With this setup, we train the student network to match the teacher's predictions by minimizing the cross entropy between them.

このセットアップにより、両者の間のクロスエントロピーを最小化することで、生徒のネットワークが教師の予測と一致するように訓練する。

A key detail is that we stop the gradient from flowing into the teacher network during training.

重要な点は、トレーニング中に教師ネットワークに勾配が流れ込まないようにすることである。

In this setup, only the student network's parameters are updated to match the teacher's predictions, while teachers provide a stable target.

このセットアップでは、教師が安定した目標を提供する一方で、生徒ネットワークのパラメータのみが教師の予測に合わせて更新される。

This approach is known as knowledge distillation.

このアプローチは知識の蒸留として知られている。

Typically, we use it to distill knowledge from a powerful large teacher model to a smaller student model, making inference more efficient.

一般的には、強力で大きな教師モデルから小さな生徒モデルへと知識を抽出し、推論をより効率的にするために使用する。

In our case, both student and teacher models have the same architectures and model size.

私たちの場合、生徒モデルも教師モデルも同じアーキテクチャとモデルサイズを持つ。

First, if we don't have labels from people, how do we know what a class is?

まず、人々のラベルがなければ、クラスが何であるかをどうやって知ることができるのか？

Fortunately, we can define the output dimension to be a large number like 65,000.

幸いなことに、出力次元を65,000のような大きな数字に定義することができる。

This enables the model to discover and represent a wide range of visual concepts without requiring us to define them in advance.

これにより、このモデルは、事前に定義することなく、さまざまな視覚的概念を発見し、表現することができる。

Second, in knowledge distillation, the teacher model is usually already trained.

第二に、知識の蒸留では、教師モデルは通常すでに訓練されている。

But without label data, how do we get this teacher model?

しかし、ラベルデータがなければ、どうやってこの教師モデルを手に入れるのだろうか？

One effective method is to update the teacher model's weight as a moving average of the student's weight over time.

効果的な方法の1つは、教師モデルのウェイトを生徒のウェイトの移動平均として更新することです。

This allows the teacher model to change gradually, providing a stable and consistent target for the student to learn from.

これによって、教師のモデルは徐々に変化し、生徒にとって安定した一貫性のある学習目標となる。

Specifically, after each training step, we update the teacher's parameters using the following formula.

具体的には、各トレーニングステップの後、以下の式を用いて教師パラメータを更新する。

The value lambda controls the update rate for the teacher model.

λは教師モデルの更新レートを制御します。

値が大きいほど更新が遅くなる。

In practice, we set the initial value of lambda as 0.996 and gradually increase it over the course of training.

実際には、λの初期値を0.996とし、トレーニングの過程で徐々に大きくしていく。

However, this approach alone is not enough to prevent the model from collapsing to trivial solutions.

しかし、このアプローチだけでは、モデルがつまらない解に崩壊するのを防ぐには不十分である。

For example, the model could end up producing outputs where a single dimension dominates the distributions, resulting in uninformative or collapsed representations.

例えば、モデルは、単一の次元が分布を支配するような出力を生成してしまう可能性があり、その結果、情報が得られなかったり、表現が崩れてしまったりする。

To address this, we use a trick called centering.

これに対処するために、私たちはセンタリングというトリックを使う。

Let's illustrate how it works with an example.

その仕組みを例で説明しよう。

Suppose we have a batch of four samples, and our model predicts probabilities over three classes for each sample.

4つのサンプルのバッチがあり、我々のモデルは各サンプルについて3つのクラスの確率を予測するとします。

After applying softmax, most of the probability mass is concentrated in the first dimension.

ソフトマックスを適用すると、確率の質量のほとんどが最初の次元に集中する。

Next, we calculate the average logic, the center, across the batch, and subtract the center from each of the teacher's logics.

次に、バッチ全体の平均ロジック（センター）を計算し、各教師のロジックからセンターを引きます。

The centering trick encourages the model to spread its predictions more evenly, rather than focusing on a single output.

センタリングのトリックは、モデルが単一の出力に集中するのではなく、より均等に予測を広げるように促す。

Centering helps prevent collapse by ensuring the average output of the teacher network remains balanced across all output dimensions.

センタリングは、教師ネットワークの平均出力がすべての出力次元で均衡を保つようにすることで、崩壊を防ぐのに役立つ。

Instead of computing the center vector for each batch independently, we maintain a moving average of the center over time.

各バッチの中心ベクトルを独立に計算する代わりに、時間の経過とともに中心の移動平均を維持する。