Name: 大規模言語モデル入門 (Introduction to Large Language Models)
Uploaded: 2024-07-27T08:46:23.000Z
Duration: 16 min 11 s

未来進行形

Today I'm going to be talking about large language models.

今日は大規模な言語モデルについてお話しします。

私は自分が何を話しているのか、実際に知っている。

I'm a customer engineer here at Google Cloud, and today I'm going to teach you everything you need to know about LLMs.

私はGoogle Cloudのカスタマーエンジニアです。今日はLLMについて知っておくべきことをすべてお教えしましょう。

In this course, you're going to learn to define large language models, describe LLM use cases, explain prompt tuning, and describe Google's generative AI development tools.

このコースでは、大規模な言語モデルの定義、LLMの使用例、プロンプトチューニングの説明、GoogleのジェネレーティブAI開発ツールの説明を学びます。

Large language models, or LLMs, are a subset of deep learning.

大規模言語モデル（LLM）は、ディープラーニングのサブセットである。

To find out more about deep learning, check out our Introduction to Generative AI course video.

ディープラーニングの詳細については、生成AI入門コースのビデオをご覧ください。

LLMs and generative AI intersect and they are both a part of deep learning.

LLMと生成AIは交差しており、どちらも深層学習の一部である。

Another area of AI you may be hearing a lot about is generative AI.

AIのもうひとつの分野として、ジェネレーティブAIというものがある。

This is a type of artificial intelligence that can produce new content including text, images, audio, and synthetic data.

これは人工知能の一種で、テキスト、画像、音声、合成データなどの新しいコンテンツを作り出すことができる。

では、大規模言語モデルとは何か？

Large language models refer to large, general purpose language models that can be pre-trained and then fine-tuned for specific purposes.

大規模言語モデルとは、事前に訓練され、特定の目的に合わせて微調整が可能な、大規模で汎用的な言語モデルを指す。

プレトレーニングやファインチューニングとはどういう意味ですか？

犬のしつけを想像してみてほしい。

Often you train your dog basic commands such as sit, come, down, and stay.

多くの場合、お座り、おいで、伏せ、ステイといった基本的なコマンドを犬に訓練する。

These commands are normally sufficient for everyday life and help your dog become a good canine citizen.

これらのコマンドは通常、日常生活には十分であり、愛犬が良き犬市民になるのを助ける。

But if you need special service dogs such as a police dog, a guide dog, or a hunting dog, you add special trainings, right?

しかし、警察犬や盲導犬、狩猟犬など、特別な介助犬が必要な場合は、特別な訓練を追加しますよね？

A similar idea applies to large language models.

同様の考え方は、大規模な言語モデルにも当てはまる。

These models are trained for general purposes to solve common language problems such as text classification, question answering, document summarization, and text generation across industries.

これらのモデルは、テキスト分類、質問応答、文書要約、業界横断的なテキスト生成など、一般的な言語問題を解決するための一般的な目的で学習される。

The models can then be tailored to solve specific problems in different fields such as retail, finance, and entertainment using a relatively small size of field datasets.

このモデルは、小売、金融、エンターテインメントなど、さまざまな分野の特定の問題を解決するために、比較的小規模なフィールドデータセットを使って調整することができる。

So now that you've got that down, let's further break down the concept into three major features of large language models.

さて、ここまで理解したところで、さらにその概念を大規模言語モデルの3つの大きな特徴に分解してみよう。

まずはラージという言葉から。

First is the enormous size of the training dataset, sometimes at the petabyte scale.

第一に、トレーニングデータセットのサイズが膨大で、ペタバイト規模になることもある。

Second, it refers to the parameter count.

2つ目は、パラメータ数である。

In machine learning, parameters are often called hyperparameters.

機械学習では、パラメータはしばしばハイパーパラメータと呼ばれる。

Parameters are basically the memories and the knowledge the machine learned from the model training.

パラメータは基本的に、マシンがモデルのトレーニングから学んだ記憶と知識である。

Parameters define the skill of a model in solving a problem such as predicting text.

パラメータは、テキストの予測などの問題を解決するモデルのスキルを定義する。

だからラージという言葉を使うんだ。

General purpose is when the models are sufficient to solve common problems.

汎用とは、一般的な問題を解決するのに十分なモデルを指す。

この考えに至った理由は2つある。

First is the commonality of human language regardless of the specific tasks.

第一に、特定のタスクに関係なく、人間の言語には共通性がある。

そして2つ目は、リソースの制限だ。

Only certain organizations have the capability to train such large language models with huge datasets and a tremendous number of parameters.

膨大なデータセットと膨大な数のパラメータで、このような大規模な言語モデルを訓練できる能力を持つのは、特定の組織だけである。

How about letting them create fundamental language models for others to use?

他の人が使えるような基本的な言語モデルを作らせるのはどうだろう？

So this leaves us with our last terms, pre-trained and fine-tuned, which mean to pre-train a large model for a general purpose with a large dataset and then fine-tune it for specific aims with a much smaller dataset.

つまり、一般的な目的のために大規模なモデルを大規模なデータセットで事前に学習させ、その後、特定の目的のためにはるかに小規模なデータセットで微調整することを意味する。

So now that we've nailed down the definition of what large language models LLMs are, we can move on to describing LLM use cases.

さて、大規模言語モデルLLMとは何かという定義がはっきりしたところで、LLMの使用例について説明しよう。

The benefits of using large language models are straightforward.

大規模な言語モデルを使うメリットは単純明快だ。

First, a single model can be used for different tasks.

第一に、ひとつのモデルをさまざまなタスクに使うことができる。

These large language models that are trained with petabytes of data and generate billions of parameters are smart enough to solve different tasks, including language translation, sentence completion, text classification, question answering, and more.

ペタバイトのデータで訓練され、何十億ものパラメータを生成するこれらの大規模な言語モデルは、言語翻訳、文章完成、テキスト分類、質問応答など、さまざまなタスクを解決するのに十分賢い。

Second, large language models require minimal field training data when you tailor them to solve a specific problem.

第二に、大規模な言語モデルは、特定の問題を解決するためにカスタマイズする場合、最小限のフィールドトレーニングデータしか必要としない。

Large language models obtain decent performance even with little domain training data.

大規模な言語モデルは、少ないドメイン学習データでも十分な性能を発揮する。

In other words, they can be used for few-shot or even zero-shot scenarios.

言い換えれば、数発のシュート、あるいはゼロ発のシュートにも対応できる。

In machine learning, few-shot refers to training a model with minimal data, and zero-shot implies that a model can recognize things that have not explicitly been taught in the training before.

機械学習では、数ショットとは最小限のデータでモデルを訓練することを意味し、ゼロショットとは、モデルが以前の訓練で明示的に教えられていないことを認識できることを意味する。

Third, the performance of large language models is continuously growing when you add more data and parameters.

第三に、大規模な言語モデルの性能は、データとパラメータを追加することで継続的に向上する。

In April 2022, Google released POM, short for Pathways Language Model, a 540 billion parameter model that achieves a state-of-the-art performance across multiple language tasks.

2022年4月、グーグルはPOM（Pathways Language Modelの略）を発表した。POMは5,400億のパラメータを持つモデルで、複数の言語タスクにおいて最先端の性能を達成している。

POM is a dense decoder-only transformer model.

POMは密なデコーダのみのトランスフォーマーモデルである。

It leverages a new pathway system which enabled Google to efficiently train a single model across multiple TPU v4 pods.

この新しいパスウェイシステムを活用することで、グーグルは複数のTPU v4ポッドで単一のモデルを効率的にトレーニングできるようになった。

Pathways is a new AI architecture that will handle many tasks at once, learn new tasks quickly, and reflect a better understanding of the world.

パスウェイズは、一度に多くのタスクを処理し、新しいタスクを素早く学習し、より優れた世界理解を反映する新しいAIアーキテクチャである。

The system enables POM to orchestrate distributed computation for accelerators, but I'm getting ahead of myself.

このシステムは、POMがアクセラレーターの分散計算をオーケストレーションすることを可能にする。

I previously mentioned that POM is a transformer model.

POMがトランスフォーマーモデルであることは以前に述べた。

A transformer model consists of an encoder and a decoder.

変圧器モデルはエンコーダーとデコーダーで構成される。

The encoder encodes the input sequence and passes it to the decoder, which learns how to decode the representations for a relevant task.

エンコーダーは入力シーケンスをエンコードしてデコーダーに渡し、デコーダーは関連するタスクのために表現をデコードする方法を学習する。

We've come a long way from traditional programming to neural networks to generative models.

私たちは伝統的なプログラミングからニューラルネットワーク、そして生成モデルへと長い道のりを歩んできた。

In traditional programming, we used to have to hard code the rules for distinguishing a cat.

従来のプログラミングでは、猫を見分けるルールをハードコーディングしなければならなかった。

Type, animal, legs 4, ears 2, fur yes, likes, yarn and catnip.

タイプ、動物、足4、耳2、毛皮あり、毛糸と猫じゃらしが好き。

In the wave of neural networks, we could give the network pictures of cats and dogs and ask, is this a cat?

ニューラルネットワークの波では、猫や犬の写真をネットワークに与えて、これは猫ですか？

そして、彼らは猫を予言するだろう。

What's really cool is that in the generative wave, we as users can generate our own content, whether it be text, images, audio, video, or more.

本当にクールなのは、ジェネレーティブ・ウェーブでは、テキスト、画像、音声、ビデオなど、私たちユーザーが独自のコンテンツを生成できることだ。

For example, models like POM, or pathways language model, or Lambda, language model for dialogue applications, ingest very, very large data from multiple sources across the internet, and build foundation language models we can use simply by asking a question, whether typing it into a prompt or verbally talking into the prompt itself.

例えば、POM（パスウェイ言語モデル）やLambda（対話アプリケーション用言語モデル）のようなモデルは、インターネット上の複数のソースから非常に大規模なデータを取り込み、プロンプトに入力するかプロンプト自体に口頭で話すか、質問をするだけで使用できる基礎言語モデルを構築する。

It can give you everything it has learned about a cat.

猫について学んだことをすべて教えてくれる。

Let's compare LLM development using pre-trained models with traditional ML development.

事前に訓練されたモデルを使ったLLM開発と、従来のML開発を比較してみよう。

First, with LLM development, you don't need to be an expert.

まず、LLMの開発では、専門家である必要はない。

You don't need training examples, and there is no need to train a model.

訓練例は必要ないし、モデルを訓練する必要もない。

All you need to do is think about prompt design, which is a process of creating a prompt that is clear, concise, and informative.

必要なのは、プロンプトのデザインについて考えることだ。

It is an important part of natural language processing, or NLP for short.

これは自然言語処理、略してNLPの重要な部分である。

In traditional machine learning, you need expertise, training examples, compute time, and hardware.

従来の機械学習では、専門知識、学習例、計算時間、ハードウェアが必要だった。

That's a lot more requirements than LLM development.

それはLLMの開発よりも多くの要件だ。

Let's take a look at an example of a text generation use case to really drive the point home.

テキスト生成のユースケースの例を見て、そのポイントを実感してみよう。

Question answering, or QA, is a subfield of natural language processing that deals with the task of automatically answering questions posed in natural language.

質問応答（QA）は、自然言語で投げかけられた質問に自動的に答えるタスクを扱う自然言語処理のサブフィールドである。

QA systems are typically trained on a large amount of text and code, and they are able to answer a wide range of questions, including factual, definitional, and opinion-based questions.

QAシステムは通常、大量のテキストとコードで訓練され、事実に基づく質問、定義に基づく質問、意見に基づく質問など、幅広い質問に答えることができる。

The key here is that you needed domain knowledge to develop these question answering models.

ここで重要なのは、これらの質問応答モデルを開発するためにドメイン知識が必要だったということだ。

Let's make this clear with a real-world example.

Domain knowledge is required to develop a question answering model for customer IT support, or healthcare, or supply chain.

顧客のITサポート、ヘルスケア、サプライチェーンなどの質問応答モデルを開発するには、ドメインの知識が必要である。

But using generative QA, the model generates free text directly based on the context.

しかし生成的QAを使えば、モデルは文脈に基づいて直接自由なテキストを生成する。

ドメインに関する知識は必要ない。

Let me show you a few examples of how cool this is.

これがいかにクールか、いくつかの例をお見せしよう。

Let's look at three questions given to Gemini, a large language model chatbot developed by Google AI.

グーグルAIが開発した大規模言語モデルチャットボット、ジェミニに与えられた3つの質問を見てみよう。

Gemini first shares how net profit is calculated, then performs the calculation.

ジェミニはまず、純利益の計算方法を共有し、それから計算を行う。

Then Gemini provides the definition of net profit.

そして、ジェミニは純利益の定義を示す。