- There have been a lot of news about ChatGPT lately

- 最近、ChatGPTに関するニュースが多いですね。

like people using ChatGPT to write essays,

ChatGPTを使ってエッセイを書く人のように。

ChatGPT hitting a hundred million users,

ChatGPTのユーザー数が1億人を突破

Google launching Bard to compete against ChatGPT

GoogleがChatGPTに対抗してBardを立ち上げ

and Microsoft integrating ChatGPT

とマイクロソフトが統合したChatGPT

into all their products, and also the viral sensation

を全製品に導入し、さらにバイラルセンセーションを巻き起こしました。

of CatGPT where it can answer all of your queries,

CatGPTで、あなたの疑問にお答えします。

but as a cat, meow, meow, meow, meow, meow, meow.

が、猫としては、ニャー、ニャー、ニャー、ニャー、ニャー、ニャー。

ChatGPT, if you don't know already, it's a chat bot

ChatGPT、もう知らない人はいないだろうが、チャットボットである。

by OpenAI where you can ask it many things.

を、OpenAIにいろいろなことを聞くことができます。

For example, explaining complex topics

例えば、複雑なトピックを説明する

like explain why I'm a disappointment to my parents

親に失望された理由を説明するように

or ask it more technical questions like,

というような専門的な質問をすることもできます。

how do I inherit more money than my brother from my parents?

親から兄より多くのお金を相続するにはどうしたらいいのでしょうか？

A lot of people are using it to write essays, draft emails,

多くの人がエッセイやメールの下書きに使っています。

and even write code.

とか、コードを書いたりすることもあります。

So I tried it myself, of course, as a YouTuber obviously,

そこで、当然YouTuberである自分も試してみました。

my first question to it was, who is Joma Tech?

私の最初の疑問は、「ジョマテックとは何者なのか」ということでした。

And it answered...

そして、それは答えた...

Are you fucking--

お前、何やってんだ...

You know, ChatGPT has a lot of limitations,

ChatGPTにはいろいろな制約がありますよね。

like here we ask it to name colors

このように、色に名前をつけるようにお願いしています。

that don't have the letter E in them,

というように、Eを含まないものがあります。

and this is what they gave us.

と、こんなことを言われました。

Orang, yllow, red, that's clearly wrong.

オラン、イロイロ、レッド、明らかに間違ってますね。

In all seriousness,

真面目な話、です。

this is to demonstrate how ChatGPT works.

というのは、ChatGPTの仕組みを説明するためのものです。

It's a pre-trained large language model,

あらかじめ訓練された大規模な言語モデルです。

meaning it was trained on text data

テキストデータで学習させたという意味

from the internet until the end of 2021.

を2021年末までインターネット上で公開します。

So it won't know anything

だから、何もわからない

about things that happened recently.

最近あった出来事について

It doesn't have access to the internet.

インターネットにアクセスできない。

It'll only predict the answer based

に基づいて答えを予測するだけです。

on what it has consumed already,

すでに消費した分について

and the way it answers your question is

と、質問に答えてくれるのは

by predicting each word that comes next.

次に来る単語を予測することで

For example, if you ask GPT who Bard is,

例えば、GPTにバルドの正体を聞く場合。

it's not going to know.

を知ることはできません。

You might ask Joma, didn't your channel launch in 2017

ジョマに聞くが、あなたのチャンネルは2017年に開設されたのではないのか？

and ChatGPT was trained on internet data until 2021,

とChatGPTは2021年までインターネットデータでトレーニングしていました。

yet it doesn't know who you are?

にもかかわらず、あなたが誰なのかわからないのですか？

Yeah, so there's actually a technical reason

そう、実は技術的な理由もあるのです。

and fuck you.

とファックする。

Recently ChatGPT hit a hundred million users.

最近、ChatGPTのユーザー数が1億人を突破しました。

It launched November 30th, 2022,

2022年11月30日に発売されました。

and this article came out February 3rd, 2023.

と、この記事が出たのは2023年2月3日。

So it took two months to hit a hundred million users.

だから、1億人のユーザーを獲得するのに2ヶ月かかった。

Who are these users and what are they doing with ChatGPT?

そのようなユーザーはどのような方で、ChatGPTで何をされているのでしょうか？

Well, it's pretty obvious, they're cheating with it.

まあ、わかりやすいですよね、それでごまかしてるんですから。

Everybody's cheating such that

などなど、みんなズルズルしてます。

some school districts have banned access to ChatGPT.

一部の学区では、ChatGPTへのアクセスを禁止しています。

If they can write essays, then they can pass exams.

作文が書ければ、試験に合格することができるのです。

ChatGPT was able to pass exams from law school,

ChatGPTは法学部から試験に合格することができました。

business school, and medical school.

ビジネススクール、メディカルスクール

Three prestigious industries.

三大名門産業。

Now, this is why I went into coding

今、私がコーディングの世界に入った理由はこれです

because I always thought that law school,

というのも、法学部はずっと思っていたんです。

business school, and medical school,

ビジネススクール、メディカルスクール

it was too much about memorization

暗記に走りすぎた

and you're bound to get replaced,

と、入れ替わるに違いない。

it just wasn't intellectual enough, you know?

は、知的さが足りなかったんですよ。

All right, well,

そうか、そうか。

I guess engineering is getting replaced, too.

エンジニアも入れ替わってきているんでしょうね。

ChatGPT passes Google coding interview,

ChatGPTがGoogleのコーディング面接に合格。

which is known to be hard, but I guess not.

というのは、難しいと言われていますが、違うようですね。

But note that it is for a L3 engineer,

ただし、L3エンジニア向けであることに注意。

which means it's a entry level, for those not in tech,

ということは、技術職でない人にとっては、エントリーレベルということになります。

there's no L2 and L1, it starts at L3,

はL2もL1もなく、L3から始まるんです。

but this does raise questions about ChatGPT's ability

しかし、これはChatGPTの能力に疑問を投げかけるものです。

to change engineering jobs behind it,

を、その背後でエンジニアの仕事を変えていく。

and we're already seeing the change

と、すでに変化を実感しています

as Amazon employees are already using ChatGPT

Amazonの社員がすでにChatGPTを使用しているため

for coding even though that immediately after,

その直後にもかかわらず、コーディングのために

they told them to stop, warning them not

という警告を発し、停止を命じました。

to share confidential information with ChatGPT.

ChatGPTと機密情報を共有するため。

What's happening is they're feeding ChatGPT

ChatGPTに餌を与えているのが現状です。

internal documents, which are confidential,

機密である内部文書

but OpenAI stores all that data.

が、OpenAIはそのデータをすべて保存しています。

You know, it reminds me of when I used to intern

昔、インターンをしていた頃を思い出すね。

at Microsoft and they didn't let us use Google

マイクロソフトでは、Googleを使わせてもらえませんでした。

for searches because they think that they might spy on us.

を検索するのは、「スパイされるかもしれない」と思っているからです。

I was like, relax, I'm an intern.

私は、リラックスして、私はインターンです、という感じでした。

I'm not working on anything important.

大事なことは何もしていない。

In fact, I actually wasn't working at all.

実は、実は全然仕事をしていなかったんです。

You know, I was playing Overwatch all day,

一日中オーバーウォッチをやっていたんですからね。

but yeah, anyways, they forced us to use Bing for searches.

が、ええ、とにかく、検索にBingを使うことを強制されたんです。

One thing that's being underreported

過小評価されている1つのポイント

in mainstream media is the success of GitHub Copilot.

は、GitHub Copilotの成功がメインストリームメディアで紹介されています。

It's probably the most useful

最も有用なものであろう

and most well executed AI product currently out there.

と、現在最もよく実行されているAI製品です。

Have I used it?

使ったことがあるのでしょうか？

No, I haven't coded in forever.

いや、もうずっとコーディングしてないんですよ。

Now, here's how it works.

さて、その仕組みはこうです。

The moment you write your code,

コードを書く瞬間に

it's like auto complete on steroids, like this example,

は、この例のように、ステロイドのオートコンプリートみたいなものです。

it helps you write the whole drawScatterplot function

drawScatterplot関数全体を記述するのに役立ちます。

and it knows how to use a D3 library correctly.

と、D3ライブラリの正しい使い方を知っています。

Another example here, you can write a comment

ここでもう一つ例を挙げると、コメントを書くことができます

explaining what you want your function to do

関数に何をさせるか

and it'll write the code for you.

をクリックすると、コードを書いてくれます。

Sometimes even the name

時には名前さえも

of the function will give it enough information

この関数を使うことで、十分な情報を得ることができます。

to write the rest of the code for you.

で、残りのコードを書いてくれます。

It's very powerful

とてもパワフルです

because it's able to take your whole code base as context

なぜなら、コードベース全体をコンテキストとして捉えることができるからです。

and with that, make more accurate predictions that way.

と、その方がより正確な予測ができます。

For example, if you're building a trading bot

例えば、トレーディングボットを作る場合

and you write the function get_tech_stock_prices,

で、get_tech_stock_pricesという関数を書きます。

it'll suggest, hey, I know you're going

を示唆することになる。

through a rough time,

を、つらい時期を乗り越えて。

but building a trading bot is not going

が、トレーディングボットを作るのは無理がある。

to fix your insecurities and maybe you should just accept

を受け入れて、不安な気持ちを解消するのがいいと思います。

that you'll be a disappointment for the rest of your life.

一生、残念な人になってしまうことを

Okay.

そうですか。

How did all of this happen?

どうしてこのようなことになったのでしょうか？

Why is AI so good suddenly?

なぜAIは急に良くなったのか？

The answer is the transformer model

答えは、トランスフォーマーモデル

which caused a paradigm shift

という、パラダイムシフトを引き起こした

on how we build large language models, LLM.

大規模な言語モデル「LLM」の構築方法について。

By the way, this diagram means nothing to me.

ちなみに、この図には何の意味もありません。

It makes me look smart, so that's why I put it on there.

スマートな印象になるので、それで載せています。

Before transformers,

トランスフォーマーの前に。

the best natural language processing system used RNN,

自然言語処理システムの最高峰はRNNだった

and then it used LSTM,

といった具合に、LSTMを使用していました。

but then Google Brain published a paper

が、その後、Google Brainが論文を発表した

in 2017 called "Attention is All You Need"

2017年に "Attention is All You Need "と呼ばれる

which is also my life's motto because I'm a narcissist.

というのは、ナルシストである私の人生のモットーでもあります。

The paper proposes a simple neural network model

本論文では、シンプルなニューラルネットワークモデルを提案する

they call transformer, which is based

トランスフォーマーと呼ばれるもので、ベースとなる

on the self attention mechanism

自己注視のメカニズムについて

which I don't fully understand, so I'll pretend

というのは、完全に理解できないので、フリ

like I don't have time to explain it

説明する暇もないほど

but I also know that it allows for more parallelization

が、より並列化が可能になることも知っている

which means you can throw more hardware,

ということは、より多くのハードウェアを投げることができるということです。

more GPUs to make your training go faster

より多くのGPUを搭載し、トレーニングの高速化を実現

and that's when things got crazy.

と、そのときからおかしくなってしまった。

They kept adding more data and also added more parameters

データを追加し続け、さらにパラメータを追加していく。

and the model just got better.

と、モデルが良くなっただけです。

So what did we do?

では、私たちは何をしたのか。

We made bigger models with more parameters

より多くのパラメータを持つ、より大きなモデルを作りました

and shoved it a shit ton of data.

と、クソほどデータを突っ込んだ。

Sorry, I'm trying my best here to make the model bigger.

すみません、ここでは頑張ってモデルを大きくしています。

All right, fuck it.

わかったよ、もういいよ。

Anyway, that gave us ready

とにかく、これで準備が整いました。

to use pre-trained transformer models like Google's Bert,

には、GoogleのBertのような事前に学習された変換モデルを使用します。

and OpenAI's GPT, generative pre-trained transformers.

とOpenAIのGPT、generative pre-trained transformersの2つがあります。

They crawled the whole web to get text data

ウェブ全体をクロールしてテキストデータを取得した

from Wikipedia and Reddit.

Wikipedia、Redditより。

This graph shows you how many parameters each model has.

このグラフは、各モデルが持つパラメータの数を示しています。

So as you can see, we've been increasing the number

ということで、ご覧の通り、数を増やしてきました。

of parameters exponentially.

のパラメータを指数関数的に変化させる。

So OpenAI kept improving their GPT model

だからOpenAIはGPTモデルを改良し続けた

like how Goku kept becoming stronger each time

悟空が毎回強くなっていくように

he reached a new Super Saiyan form.

新たなスーパーサイヤ人形態に到達した。

While editing this,

これを編集しながら。

I realized how unhelpful the "Dragon Ball" analogy was.

ドラゴンボール」の例えがいかに役に立たなかったかを実感しました。

So I want to try again.

だから、もう一度挑戦したいんです。

To recap, transformer was the model architecture,

おさらいすると、transformerはモデル・アーキテクチャでした。

a type of neural network.

は、ニューラルネットワークの一種である。

Other types of models would be like RNN and LSTM.

他にも、RNNやLSTMのようなモデルもありますね。

Compared to RNN, transformers don't need

RNNに比べ、トランスは必要ない

to process words one by one,

で、単語を一つずつ処理する。

so it's way more efficient at training with lots of data.

ということで、たくさんのデータを使ったトレーニングの効率が格段にアップしました。

OpenAI used the transformer model and pre-trained it

OpenAIはトランスフォーマーモデルを使い、事前に学習させた

by feeding it a bunch of data from the internet

ネット上のデータを大量に与えることで

and they called that pre-trained model GPT-1.

で、その学習済みモデルをGPT-1と呼んでいます。

Back then, NLP models would be trained from scratch

当時は、NLPモデルをゼロからトレーニングしていました。

for a specific task like translation or summarization.

翻訳や要約のような特定のタスクのために。

Both transformer, we get to pre-train the model first

両トランスフォーマー、最初にモデルをプリトレーニングしてもらう

then fine tune it for a specific task.

そして、特定のタスクのために微調整する。

Then for GPT-2, they did the same thing, but more

そして、GPT-2については、同じことを行ったが、より一層

and with a bigger model, hence with 1.5 billion parameters,

そして、より大きなモデル、つまり15億個のパラメータを持つモデルで。

and then with GPT-3,

し、その後GPT-3で

they went crazy and gave it 175 billion parameters.

その結果、1,750億のパラメータが付与された。

However, just like raising a kid,

しかし、子供を育てるのと同じです。

just shoving it with a bunch

ごり押しごり押し

of information unsupervised might not be the best way

情報収集のための最適な方法とは言えないかもしれません。

to raise a kid.

子供を育てるために

She might know a lot of things,

彼女はいろいろなことを知っているかもしれない。

but she hasn't learned proper values from her parents.

しかし、彼女は両親から正しい価値観を学んでいない。

So that's why we have to fine tune it, tell it what's right,

だから、私たちはそれを微調整し、何が正しいかを伝えなければならないのです。

and what's wrong, how not to be racist and clean up its act.

と何が問題なのか、どうすれば人種差別をせず、自浄作用を発揮できるのか。

That's GPT-3.5, a more fine-tuned version of GPT-3

それは、GPT-3をさらに細かくした「GPT-3.5」です

with guardrails that can be released to the public.

を公開できるガードレール付き。

Now you have a decently well-behaved kid,

これで、ちゃんとお行儀のいい子ができましたね。

but you now want to show her off, so you dress it up nicely,

しかし、今は彼女に見せびらかしたいと思っているので、きれいにドレスアップしていますね。

get her ready for her first job, AKA more fine tuning

初仕事に向けて、さらに微調整をする。

with some supervised training

指導付き訓練

so it behaves properly as a chat bot.

で、チャットボットとして正しく動作するようにします。

That way it's well packaged and is ready to ship

そうすることで、しっかりと梱包され、出荷の準備が整います

to the world with a web UI.

を、Web UIで世界に発信します。

Okay, back to the original shitty "Dragon Ball" explanation.

さて、元のクソみたいな「ドラゴンボール」の説明に戻ります。

So you can think of Goku's hair,

だから、悟空の髪を思い浮かべることができる。

like the number of parameters, 175 billion parameters,

のように、パラメータの数が1750億個もあるんです。

which is why you can see Goku has more hair now.

そのため、悟空の髪が増えたのがわかると思います。

Goku hair isn't much longer,

悟空の髪があまり長くない。

but it's just styled a little bit differently.

が、ちょっとだけスタイリングが違うだけです。

100 trillion parameters.

100兆個のパラメータ。

So technically GPT-3 was already amazing

だから、技術的にはGPT-3はすでにすごかった

but OpenAI was able to package it neatly with ChatGPT

が、OpenAIはChatGPTできれいにパッケージ化することができました。

which made it user friendly, so it became a viral sensation.

というように、ユーザーフレンドリーなものにしたため、バイラルセッションになったのです。

So yeah, packaging is important.

そうそう、パッケージって大事なんですよね。

It caused everyone to really pay attention to this.

そのおかげで、みんなが本当に注目するようになりました。

So how did people react to the viral growth of ChatGPT?

では、ChatGPTのバイラルな成長に対して、人々の反応はどうだったのでしょうか。

People were mind blown and said, Google is done

みんなびっくりして、「Googleは終わった」と言った。

because ChatGPT is going to replace search engines.

というのも、ChatGPTは検索エンジンに取って代わる存在になりそうだからです。

No, it can't.

いいえ、それはできません。

Until it can search for porn,

ポルノを検索できるようになるまで。

it cannot replace search engines.

検索エンジンに代わるものではありません。

Oh, wait, why search for porn

あ、待てよ、なぜポルノを検索するのか

when you could generate it?

を発生させることができたのでしょうか？

(upbeat music)

(アップビート・ミュージック)

Anyway, even losing a bit of search volume

とにかく、検索ボリュームを少し失うだけでも

to ChatGPT would be a big deal for Google

をChatGPTにすることは、Googleにとって大きな意味を持つでしょう。

since 80% of their revenue comes from ads

収益の8割が広告によるものであるため

and most of it comes from search.

で、そのほとんどが検索からの流入です。

People were telling Google to release something similar.

みんなGoogleに似たようなものを出すように言っていたんです。

Google was like, bruh, we have LaMDA,

Googleは、「ブルッ、LaMDAがあるじゃないか」と。

which is basically ChatGPT, but releasing it would be risky

基本的にChatGPTなのですが、公開するのはリスクが高いです。

as they had much more reputational risk at stake

より多くの風評リスクを抱えていたからだ。

and has to move more conservatively than a startup would.

と、新興企業よりも保守的な動きをしなければならない。

That's foreshadowing by the way.

ちなみにそれは伏線です。

Microsoft is chilling.

マイクロソフトは冷や冷やものです。

They positioned themselves really well

彼らは自分たちを本当にうまく位置づけている

by investing $1 billion in OpenAI early on in 2019.

を、2019年の早い時期にOpenAIに10億ドル出資することで実現しました。

That allowed OpenAI to leverage Microsoft's Azure

そのため、OpenAIはマイクロソフトのAzureを活用することができました。

for its compute power to train and run their models

モデルをトレーニングし、実行するための計算能力で

and Microsoft gets to integrate OpenAI's tech

とマイクロソフトがOpenAIの技術を統合することになる

into their products.

を自社製品に組み込んでいます。

So if OpenAI succeeds,

だから、OpenAIが成功すれば。

Microsoft succeeds and remember GitHub Copilot?

マイクロソフトが成功し、GitHub Copilotを思い出す？

Well, GitHub is owned by Microsoft, so that's a huge win.

まあ、GitHubはマイクロソフトの所有ですから、大勝利です。

Meanwhile, Google is panicking

一方、グーグルは慌てふためいている

and issued a code red,

とコードレッドを発令しました。

calling in the OG founders Page and Brin.

OGファウンダーのPageとBrinを呼び寄せる。

Actually I have no idea who's who, so...

実は誰が誰だかさっぱり分からないので...。

Anyways, but they called them to strategize

とにかく、しかし、彼らは戦略を立てるために彼らを呼んだ

on how to approach this.

どのようにアプローチするかについて

Microsoft is fueling the momentum, especially

マイクロソフトは、特にその勢いに拍車をかけています。

with ChatGPT growing so fast

ChatGPTの急成長に伴い