- There have been a lot of news about ChatGPT lately

- 最近、ChatGPTに関するニュースが多いですね。

like people using ChatGPT to write essays,

ChatGPTを使ってエッセイを書く人のように。

ChatGPT hitting a hundred million users,

ChatGPTのユーザー数が1億人を突破

Google launching Bard to compete against ChatGPT

GoogleがChatGPTに対抗してBardを立ち上げ

and Microsoft integrating ChatGPT

とマイクロソフトが統合したChatGPT

into all their products, and also the viral sensation

を全製品に導入し、さらにバイラルセンセーションを巻き起こしました。

of CatGPT where it can answer all of your queries,

CatGPTで、あなたの疑問にお答えします。

but as a cat, meow, meow, meow, meow, meow, meow.

が、猫としては、ニャー、ニャー、ニャー、ニャー、ニャー、ニャー。

ChatGPT, if you don't know already, it's a chat bot

ChatGPT、もう知らない人はいないだろうが、チャットボットである。

by OpenAI where you can ask it many things.

を、OpenAIにいろいろなことを聞くことができます。

For example, explaining complex topics

例えば、複雑なトピックを説明する

like explain why I'm a disappointment to my parents

親に失望された理由を説明するように

or ask it more technical questions like,

というような専門的な質問をすることもできます。

how do I inherit more money than my brother from my parents?

親から兄より多くのお金を相続するにはどうしたらいいのでしょうか？

A lot of people are using it to write essays, draft emails,

多くの人がエッセイやメールの下書きに使っています。

and even write code.

とか、コードを書いたりすることもあります。

So I tried it myself, of course, as a YouTuber obviously,

そこで、当然YouTuberである自分も試してみました。

my first question to it was, who is Joma Tech?

私の最初の疑問は、「ジョマテックとは何者なのか」ということでした。

And it answered...

そして、それは答えた...

Are you fucking--

お前、何やってんだ...

You know, ChatGPT has a lot of limitations,

ChatGPTにはいろいろな制約がありますよね。

like here we ask it to name colors

このように、色に名前をつけるようにお願いしています。

that don't have the letter E in them,

というように、Eを含まないものがあります。

and this is what they gave us.

と、こんなことを言われました。

Orang, yllow, red, that's clearly wrong.

オラン、イロイロ、レッド、明らかに間違ってますね。

In all seriousness,

真面目な話、です。

this is to demonstrate how ChatGPT works.

というのは、ChatGPTの仕組みを説明するためのものです。

It's a pre-trained large language model,

あらかじめ訓練された大規模な言語モデルです。

meaning it was trained on text data

テキストデータで学習させたという意味

from the internet until the end of 2021.

を2021年末までインターネット上で公開します。

So it won't know anything

だから、何もわからない

about things that happened recently.

最近あった出来事について

It doesn't have access to the internet.

インターネットにアクセスできない。

It'll only predict the answer based

に基づいて答えを予測するだけです。

on what it has consumed already,

すでに消費した分について

and the way it answers your question is

と、質問に答えてくれるのは

by predicting each word that comes next.

次に来る単語を予測することで

For example, if you ask GPT who Bard is,

例えば、GPTにバルドの正体を聞く場合。

it's not going to know.

を知ることはできません。

You might ask Joma, didn't your channel launch in 2017

ジョマに聞くが、あなたのチャンネルは2017年に開設されたのではないのか？

and ChatGPT was trained on internet data until 2021,

とChatGPTは2021年までインターネットデータでトレーニングしていました。

yet it doesn't know who you are?

にもかかわらず、あなたが誰なのかわからないのですか？

Yeah, so there's actually a technical reason

そう、実は技術的な理由もあるのです。

and fuck you.

とファックする。

Recently ChatGPT hit a hundred million users.

最近、ChatGPTのユーザー数が1億人を突破しました。

It launched November 30th, 2022,

2022年11月30日に発売されました。

and this article came out February 3rd, 2023.

と、この記事が出たのは2023年2月3日。

So it took two months to hit a hundred million users.

だから、1億人のユーザーを獲得するのに2ヶ月かかった。

Who are these users and what are they doing with ChatGPT?

そのようなユーザーはどのような方で、ChatGPTで何をされているのでしょうか？

Well, it's pretty obvious, they're cheating with it.

まあ、わかりやすいですよね、それでごまかしてるんですから。

Everybody's cheating such that

などなど、みんなズルズルしてます。

some school districts have banned access to ChatGPT.

一部の学区では、ChatGPTへのアクセスを禁止しています。

If they can write essays, then they can pass exams.

作文が書ければ、試験に合格することができるのです。

ChatGPT was able to pass exams from law school,

ChatGPTは法学部から試験に合格することができました。

business school, and medical school.

ビジネススクール、メディカルスクール

Three prestigious industries.

三大名門産業。

Now, this is why I went into coding

今、私がコーディングの世界に入った理由はこれです

because I always thought that law school,

というのも、法学部はずっと思っていたんです。

business school, and medical school,

ビジネススクール、メディカルスクール

it was too much about memorization

暗記に走りすぎた

and you're bound to get replaced,

と、入れ替わるに違いない。

it just wasn't intellectual enough, you know?

は、知的さが足りなかったんですよ。

All right, well,

そうか、そうか。

I guess engineering is getting replaced, too.

エンジニアも入れ替わってきているんでしょうね。

ChatGPT passes Google coding interview,

ChatGPTがGoogleのコーディング面接に合格。

which is known to be hard, but I guess not.

というのは、難しいと言われていますが、違うようですね。

But note that it is for a L3 engineer,

ただし、L3エンジニア向けであることに注意。

which means it's a entry level, for those not in tech,

ということは、技術職でない人にとっては、エントリーレベルということになります。

there's no L2 and L1, it starts at L3,

はL2もL1もなく、L3から始まるんです。

but this does raise questions about ChatGPT's ability

しかし、これはChatGPTの能力に疑問を投げかけるものです。

to change engineering jobs behind it,

を、その背後でエンジニアの仕事を変えていく。

and we're already seeing the change

と、すでに変化を実感しています

as Amazon employees are already using ChatGPT

Amazonの社員がすでにChatGPTを使用しているため

for coding even though that immediately after,

その直後にもかかわらず、コーディングのために

they told them to stop, warning them not

という警告を発し、停止を命じました。

to share confidential information with ChatGPT.

ChatGPTと機密情報を共有するため。

What's happening is they're feeding ChatGPT

ChatGPTに餌を与えているのが現状です。

internal documents, which are confidential,

機密である内部文書

but OpenAI stores all that data.

が、OpenAIはそのデータをすべて保存しています。

You know, it reminds me of when I used to intern

昔、インターンをしていた頃を思い出すね。

at Microsoft and they didn't let us use Google

マイクロソフトでは、Googleを使わせてもらえませんでした。

for searches because they think that they might spy on us.

を検索するのは、「スパイされるかもしれない」と思っているからです。

I was like, relax, I'm an intern.

私は、リラックスして、私はインターンです、という感じでした。

I'm not working on anything important.

大事なことは何もしていない。

In fact, I actually wasn't working at all.

実は、実は全然仕事をしていなかったんです。

You know, I was playing Overwatch all day,

一日中オーバーウォッチをやっていたんですからね。

but yeah, anyways, they forced us to use Bing for searches.

が、ええ、とにかく、検索にBingを使うことを強制されたんです。

One thing that's being underreported

過小評価されている1つのポイント

in mainstream media is the success of GitHub Copilot.

は、GitHub Copilotの成功がメインストリームメディアで紹介されています。

It's probably the most useful

最も有用なものであろう

and most well executed AI product currently out there.

と、現在最もよく実行されているAI製品です。

Have I used it?

使ったことがあるのでしょうか？

No, I haven't coded in forever.

いや、もうずっとコーディングしてないんですよ。

Now, here's how it works.

さて、その仕組みはこうです。

The moment you write your code,

コードを書く瞬間に

it's like auto complete on steroids, like this example,

は、この例のように、ステロイドのオートコンプリートみたいなものです。

it helps you write the whole drawScatterplot function

drawScatterplot関数全体を記述するのに役立ちます。

and it knows how to use a D3 library correctly.

と、D3ライブラリの正しい使い方を知っています。

Another example here, you can write a comment

ここでもう一つ例を挙げると、コメントを書くことができます

explaining what you want your function to do

関数に何をさせるか

and it'll write the code for you.

をクリックすると、コードを書いてくれます。

Sometimes even the name

時には名前さえも

of the function will give it enough information

この関数を使うことで、十分な情報を得ることができます。

to write the rest of the code for you.

で、残りのコードを書いてくれます。

It's very powerful

とてもパワフルです

because it's able to take your whole code base as context

なぜなら、コードベース全体をコンテキストとして捉えることができるからです。

and with that, make more accurate predictions that way.

と、その方がより正確な予測ができます。

For example, if you're building a trading bot

例えば、トレーディングボットを作る場合

and you write the function get_tech_stock_prices,

で、get_tech_stock_pricesという関数を書きます。

it'll suggest, hey, I know you're going

を示唆することになる。

through a rough time,

を、つらい時期を乗り越えて。

but building a trading bot is not going

が、トレーディングボットを作るのは無理がある。

to fix your insecurities and maybe you should just accept

を受け入れて、不安な気持ちを解消するのがいいと思います。

that you'll be a disappointment for the rest of your life.

一生、残念な人になってしまうことを

Okay.

そうですか。

How did all of this happen?

どうしてこのようなことになったのでしょうか？

Why is AI so good suddenly?

なぜAIは急に良くなったのか？

The answer is the transformer model

答えは、トランスフォーマーモデル

which caused a paradigm shift

という、パラダイムシフトを引き起こした

on how we build large language models, LLM.

大規模な言語モデル「LLM」の構築方法について。

By the way, this diagram means nothing to me.

ちなみに、この図には何の意味もありません。

It makes me look smart, so that's why I put it on there.

スマートな印象になるので、それで載せています。

Before transformers,

トランスフォーマーの前に。

the best natural language processing system used RNN,

自然言語処理システムの最高峰はRNNだった

and then it used LSTM,

といった具合に、LSTMを使用していました。

but then Google Brain published a paper

が、その後、Google Brainが論文を発表した

in 2017 called "Attention is All You Need"

2017年に "Attention is All You Need "と呼ばれる

which is also my life's motto because I'm a narcissist.

というのは、ナルシストである私の人生のモットーでもあります。

The paper proposes a simple neural network model

本論文では、シンプルなニューラルネットワークモデルを提案する

they call transformer, which is based

トランスフォーマーと呼ばれるもので、ベースとなる

on the self attention mechanism

自己注視のメカニズムについて

which I don't fully understand, so I'll pretend

というのは、完全に理解できないので、フリ

like I don't have time to explain it

説明する暇もないほど

but I also know that it allows for more parallelization

が、より並列化が可能になることも知っている

which means you can throw more hardware,

ということは、より多くのハードウェアを投げることができるということです。

more GPUs to make your training go faster

より多くのGPUを搭載し、トレーニングの高速化を実現

and that's when things got crazy.

と、そのときからおかしくなってしまった。

They kept adding more data and also added more parameters

データを追加し続け、さらにパラメータを追加していく。

and the model just got better.

と、モデルが良くなっただけです。

So what did we do?

では、私たちは何をしたのか。

We made bigger models with more parameters

より多くのパラメータを持つ、より大きなモデルを作りました

and shoved it a shit ton of data.

と、クソほどデータを突っ込んだ。

Sorry, I'm trying my best here to make the model bigger.

すみません、ここでは頑張ってモデルを大きくしています。

All right, fuck it.

わかったよ、もういいよ。

Anyway, that gave us ready

とにかく、これで準備が整いました。

to use pre-trained transformer models like Google's Bert,

には、GoogleのBertのような事前に学習された変換モデルを使用します。

and OpenAI's GPT, generative pre-trained transformers.

とOpenAIのGPT、generative pre-trained transformersの2つがあります。

They crawled the whole web to get text data

ウェブ全体をクロールしてテキストデータを取得した

from Wikipedia and Reddit.

Wikipedia、Redditより。

This graph shows you how many parameters each model has.

このグラフは、各モデルが持つパラメータの数を示しています。

So as you can see, we've been increasing the number

ということで、ご覧の通り、数を増やしてきました。

of parameters exponentially.

のパラメータを指数関数的に変化させる。

So OpenAI kept improving their GPT model

だからOpenAIはGPTモデルを改良し続けた

like how Goku kept becoming stronger each time

悟空が毎回強くなっていくように

he reached a new Super Saiyan form.

新たなスーパーサイヤ人形態に到達した。

While editing this,

これを編集しながら。

I realized how unhelpful the "Dragon Ball" analogy was.

ドラゴンボール」の例えがいかに役に立たなかったかを実感しました。

So I want to try again.

だから、もう一度挑戦したいんです。

To recap, transformer was the model architecture,

おさらいすると、transformerはモデル・アーキテクチャでした。

a type of neural network.

は、ニューラルネットワークの一種である。

Other types of models would be like RNN and LSTM.

他にも、RNNやLSTMのようなモデルもありますね。

Compared to RNN, transformers don't need

RNNに比べ、トランスは必要ない

to process words one by one,

で、単語を一つずつ処理する。

so it's way more efficient at training with lots of data.

ということで、たくさんのデータを使ったトレーニングの効率が格段にアップしました。

OpenAI used the transformer model and pre-trained it

OpenAIはトランスフォーマーモデルを使い、事前に学習させた

by feeding it a bunch of data from the internet

ネット上のデータを大量に与えることで

and they called that pre-trained model GPT-1.

で、その学習済みモデルをGPT-1と呼んでいます。

Back then, NLP models would be trained from scratch

当時は、NLPモデルをゼロからトレーニングしていました。

for a specific task like translation or summarization.

翻訳や要約のような特定のタスクのために。

Both transformer, we get to pre-train the model first

両トランスフォーマー、最初にモデルをプリトレーニングしてもらう

then fine tune it for a specific task.

そして、特定のタスクのために微調整する。