Name: 大規模言語モデルの簡単な説明 (Large Language Models explained briefly)
Uploaded: 2025-06-19T13:51:48.000Z
Duration: 7 min 58 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

Imagine you happen across a short movie script that describes a scene between a person and their AI assistant.

ある人物とそのAIアシスタントのシーンを描いた短い映画の脚本に出くわしたとする。

The script has what the person asks the AI, but the AI's response has been torn off.

台本には人がAIに尋ねる内容が書かれているが、AIの返答は破られている。

Suppose you also have this powerful magical machine that can take any text and provide a sensible prediction of what word comes next.

また、どんな文章でも、次にどんな単語が来るかを予測できる強力な魔法の機械があるとする。

You could then finish the script by feeding in what you have to the machine, seeing what it would predict to start the AI's answer, and then repeating this over and over with a growing script completing the dialogue.

そして、あなたが持っているものをマシンに送り込み、AIが何を予測して答えを始めるかを見てスクリプトを完成させ、それを何度も繰り返してスクリプトを成長させ、ダイアログを完成させることができる。

When you interact with a chatbot, this is exactly what's happening.

チャットボットと対話するとき、まさにこれが起こっている。

A large language model is a sophisticated mathematical function that predicts what word comes next for any piece of text.

大規模な言語モデルとは、あらゆるテキストの次に来る単語を予測する高度な数学的関数である。

Instead of predicting one word with certainty, though, what it does is assign a probability to all possible next words.

しかし、ひとつの単語を確実に予測するのではなく、次に起こりうるすべての単語に確率を割り当てるのだ。

To build a chatbot, what you do is lay out some text that describes an interaction between a user and a hypothetical AI assistant, you add on whatever the user types in as the first part of that interaction, and then you have the model repeatedly predict the next word that such a hypothetical AI assistant would say in response, and that's what's presented to the user.

チャットボットを作るには、ユーザーと仮想のAIアシスタントとのやりとりを記述したテキストをレイアウトし、そのやりとりの最初の部分としてユーザーが入力するものを追加します。そして、そのような仮想のAIアシスタントが応答として言うであろう次の言葉をモデルに繰り返し予測させ、それをユーザーに提示します。

In doing this, the output tends to look a lot more natural if you allow it to select less likely words along the way at random.

その際、途中で可能性の低い単語をランダムに選択させると、出力がより自然に見える傾向がある。

So what this means is even though the model itself is deterministic, a given prompt typically gives a different answer each time it's run.

つまり、モデル自体は決定論的であっても、与えられたプロンプトは通常、実行するたびに異なる答えを出すということだ。

Models learn how to make these predictions by processing an enormous amount of text typically pulled from the internet.

モデルは、通常インターネットから取得される膨大な量のテキストを処理することによって、これらの予測を行う方法を学習する。

For a standard human to read the amount of text that was used to train GPT-3, for example, if they read non-stop 24-7, it would take over 2600 years.

標準的な人間がGPT-3の訓練に使われた量のテキストを読むには、たとえば24時間365日ノンストップで読み続けたとして、2600年以上かかる。

Larger models since then train on much, much more.

それ以降の大型モデルは、もっともっと多くのことをトレーニングする。

You can think of training a little bit like tuning the dials on a big machine.

トレーニングは、大きな機械のダイヤルを調整するようなものだと思えばいい。

The way that a language model behaves is entirely determined by these many different continuous values, usually called parameters or weights.

言語モデルの動作は、通常パラメータまたは重みと呼ばれる、これらの多くの異なる連続値によって完全に決定される。

Changing those parameters will change the probabilities that the model gives for the next word on a given input.

これらのパラメータを変更することで、与えられた入力に対してモデルが次の単語に与える確率が変わる。

What puts the large in large language model is how they can have hundreds of billions of these parameters.

大規模言語モデルの特徴は、数千億ものパラメータを持つことができることだ。

No human ever deliberately sets those parameters.

人間が意図的にそのパラメーターを設定することはない。

Instead, they begin at random, meaning the model just outputs gibberish, but they're repeatedly refined based on many example pieces of text.

その代わり、最初はランダムに、つまりモデルはただちんぷんかんぷんな文章を出力するが、多くの例文に基づいて繰り返し改良される。

One of these training examples could be just a handful of words, or it could be thousands, but in either case, the way this works is to pass in all but the last word from that example into the model, and compare the prediction that it makes with the true last word from the example.

これらの学習例のひとつは、ほんの一握りの単語かもしれないし、何千もの単語かもしれない。しかし、いずれにせよ、この方法は、その例の最後の単語を除いたすべての単語をモデルに渡し、そのモデルが行う予測を、その例の本当の最後の単語と比較する。

An algorithm called backpropagation is used to tweak all of the parameters in such a way that it makes the model a little more likely to choose the true last word, and a little less likely to choose all the others.

バックプロパゲーションと呼ばれるアルゴリズムが、モデルが真の最後の単語を選ぶ可能性が少し高くなり、他のすべての単語を選ぶ可能性が少し低くなるように、すべてのパラメーターを微調整するために使われる。

When you do this for many, many trillions of examples, not only does the model start to give more accurate predictions on the training data, but it also starts to make more reasonable predictions on text that it's never seen before.

これを何兆例も何兆例も繰り返すと、モデルはトレーニングデータに対してより正確な予測をするようになるだけでなく、今まで見たことのないテキストに対してもより妥当な予測をするようになる。

Given the huge number of parameters and the enormous amount of training data, the scale of computation involved in training a large language model is mind-boggling.

膨大な数のパラメータと膨大な量の学習データを考えると、大規模な言語モデルの学習に関わる計算の規模は気の遠くなるようなものだ。

To illustrate, imagine that you could perform 1 billion additions and multiplications every single second.

例えるなら、毎秒10億回の足し算と掛け算ができるとしよう。

How long do you think it would take for you to do all of the operations involved in training the largest language models?

最大の言語モデルのトレーニングに関わるすべての操作を行うのに、どれくらいの時間がかかると思いますか？

The answer is actually much more than that, it's well over 100 million years.

答えはそれ以上で、1億年をはるかに超えている。

This is only part of the story though, this whole process is called pre-training.

しかし、これは物語の一部に過ぎず、このプロセス全体をプレトレーニングと呼ぶ。

The goal of auto-completing a random passage of text from the internet is very different from the goal of being a good AI assistant.

インターネット上のランダムな文章を自動入力するという目標は、優れたAIアシスタントになるという目標とは大きく異なる。

To address this, chatbots undergo another type of training, just as important, called reinforcement learning with human feedback.

これに対処するため、チャットボットは、人間のフィードバックによる強化学習と呼ばれる、同様に重要な別のタイプのトレーニングを受けている。

Workers flag unhelpful or problematic predictions, and their corrections further change the model's parameters, making them more likely to give predictions that users prefer.

ワーカーは役に立たない予測や問題のある予測にフラグを立て、その修正によってモデルのパラメータがさらに変化し、ユーザーが好む予測をする可能性が高くなる。

Looking back at the pre-training though, this staggering amount of computation is only made possible by using special computer chips that are optimized for running many, many operations in parallel, known as GPUs.

しかし、事前トレーニングを振り返ってみると、この驚異的な計算量は、GPUと呼ばれる多数の演算を並列に実行するために最適化された特殊なコンピューターチップを使用することによってのみ可能になる。

However, not all language models can be easily parallelized.

しかし、すべての言語モデルが簡単に並列化できるわけではない。

Prior to 2017, most language models would process text one word at a time, but then a team of researchers at Google introduced a new model known as the transformer.

2017年以前は、ほとんどの言語モデルはテキストを1単語ずつ処理していたが、グーグルの研究チームがトランスフォーマーとして知られる新しいモデルを導入した。

Transformers don't read text from the start to the finish, they soak it all in at once, in parallel.

トランスフォーマーは文章を最初から最後まで読むのではなく、並行して一度にすべてを吸収する。

The very first step inside a transformer, and most other language models for that matter, is to associate each word with a long list of numbers.

トランスフォーマー、そして他のほとんどの言語モデルの最初のステップは、各単語を数字の長いリストと関連付けることだ。

The reason for this is that the training process only works with continuous values, so you have to somehow encode language using numbers, and each list of numbers may somehow encode the meaning of the corresponding word.

その理由は、トレーニング過程が連続的な値でしか機能しないため、何らかの方法で数字を用いて言語をエンコードする必要があり、数字の各リストが何らかの方法で対応する単語の意味をエンコードする可能性があるからだ。

What makes transformers unique is their reliance on a special operation known as attention.

トランスの特徴は、アテンションと呼ばれる特殊な操作に依存していることだ。

This operation gives all these lists of numbers a chance to talk to one another, and refine the meanings they encode based on the context around, all done in parallel.

この操作は、すべての数字のリストが互いに話し合う機会を与え、周囲の文脈に基づいて、それらがエンコードする意味を洗練させる。

For example, the numbers encoding the word bank might be changed based on the context surrounding it, to somehow encode the more specific notion of a river bank.

例えば、bankという単語をエンコードする数字は、それを取り巻く文脈によって変化し、より具体的な川の堤防という概念をエンコードするようになるかもしれない。

Transformers typically also include a second type of operation, known as a feed-forward neural network, and this gives the model extra capacity to store more patterns about language learned during training.

トランスフォーマーには通常、フィードフォワード・ニューラルネットワークと呼ばれる2つ目のタイプの演算も含まれており、これによってモデルには、トレーニング中に学習した言語に関するパターンをより多く記憶するための容量が追加される。

All of this data repeatedly flows through many different iterations of these two fundamental operations, and as it does so, the hope is that each list of numbers is enriched to encode whatever information might be needed to make an accurate prediction of what word follows in the passage.

これらのデータはすべて、これら2つの基本的な操作を何度も繰り返しながら流れていく。そうすることで、それぞれの数字のリストが豊かになり、パッセージの中でどの単語が後に続くかを正確に予測するために必要なあらゆる情報がエンコードされることが期待される。

At the end, one final function is performed on the last vector in this sequence, which now has had a chance to be influenced by all the other context from the input text, as well as everything the model learned during training, to produce a prediction of the next word.

このベクトルは、入力テキストに含まれる他のすべての文脈や、学習中にモデルが学習したすべての文脈の影響を受け、次の単語の予測を生成する機会を得た。

Again, the model's prediction looks like a probability for every possible next word.

ここでも、モデルの予測は、次に起こりうるすべての単語に対する確率のように見える。

Although researchers design the framework for how each of these steps work, it's important to understand that the specific behavior is an emergent phenomenon based on how those hundreds of billions of parameters are tuned during training.

研究者は、これらの各ステップがどのように機能するかのフレームワークを設計するが、具体的な動作は、トレーニング中に数千億のパラメーターがどのように調整されるかに基づく創発的な現象であることを理解することが重要である。

This makes it incredibly challenging to determine why the model makes the exact predictions that it does.

このため、モデルがなぜそのような正確な予測をするのかを判断するのは非常に難しい。

What you can see is that when you use large-language model predictions to autocomplete a prompt, the words that it generates are uncannily fluent, fascinating, and even useful.

大規模言語モデルの予測を使ってプロンプトをオートコンプリートすると、生成される単語は驚くほど流暢で、魅力的で、役に立つことさえあるということがおわかりいただけるだろう。

If you're a new viewer and you're curious about more details on how transformers and attention work, boy do I have some material for you.

もしあなたが新しい視聴者で、トランスフォーマーやアテンションがどのように機能するのか、より詳細に興味があるなら、私はあなたにいくつかの資料を持っている。

One option is to jump into a series I made about deep learning, where we visualize and motivate the details of attention and all the other steps in a transformer.

ディープラーニングについて私が作成したシリーズに飛びつくというのもひとつの選択肢で、そこでは注目の詳細やトランスフォーマーにおける他のすべてのステップを視覚化し、動機づける。

But also, on my second channel I just posted a talk I gave a couple months ago about this topic for the company TNG in Munich.

また、私の2つ目のチャンネルでは、数カ月前にミュンヘンのTNG社で行ったこのトピックについての講演を掲載したばかりだ。

Sometimes I actually prefer the content I make as a casual talk rather than a produced video, but I leave it up to you which one of these feels like the better follow-on.

実際、私は制作したビデオよりも、カジュアルなトークとして作ったコンテンツの方が好きだったりする。