It's kind of like ChatGPT, except it's not.

ChatGPTのようなものだ。

Everything about it is running right here on my computer.

そのすべてが私のコンピューターで動いている。

I'm not even connected to the internet.

インターネットにも接続していない。

This is private, contained, and my data isn't being shared with some random company.

これはプライベートなもので、私のデータはどこかのランダムな会社と共有されることはない。

So in this video, I want to do two things.

そこでこのビデオでは、2つのことをしたい。

First, I want to show you how to set this up.

まず、この設定方法をお見せしたい。

It is ridiculously easy and fast to run your own AI on your laptop, computer, or whatever it is.

ラップトップでもコンピューターでも何でも、自分のAIを動かすのはとんでもなく簡単で速い。

This is free, it's amazing, it'll take you about five minutes.

無料だし、素晴らしいし、5分もあればできる。

And if you stick around to the end, I want to show you something even crazier, a bit more advanced.

そして最後までお付き合いいただければ、さらにクレイジーで、もう少し高度なものをお見せしたい。

I'll show you how you can connect your knowledge base, your notes, your documents, your journal entries, to your own Private GPT, and then ask it questions about your stuff.

あなたのナレッジ・ベース、メモ、文書、日記をあなたのプライベートGPTに接続し、あなたのものに関して質問する方法をお見せしよう。

And then second, I want to talk about how Private AI is helping us in the area we need help most, our jobs.

そして2つ目は、プライベートAIが、私たちが最も助けを必要としている分野である雇用において、どのように役立っているかについてお話ししたいと思います。

You may not know this, but not everyone can use ChatGPT or something like it at their job.

あなたは知らないかもしれませんが、誰もが仕事でChatGPTなどを使えるわけではありません。

Their companies won't let them, mainly because of privacy and security reasons.

主にプライバシーとセキュリティ上の理由から、彼らの会社はそうさせない。

But if they could run their own Private AI, that's a different story.

しかし、もし彼らが独自のプライベートAIを動かすことができれば、話は別だ。

That's a whole different ballgame.

それはまったく別のゲームだ。

And VMware is a big reason this is possible.

そして、VMwareがこれを可能にした大きな理由である。

They are the sponsor of this video, and they're enabling some amazing things that companies can do on-prem in their own data center to run their own AI.

彼らはこのビデオのスポンサーであり、企業が独自のAIを実行するために、自社のデータセンターでオンプレミスでできる素晴らしいことを可能にしている。

And it's not just the cloud, man, it's like in your data center.

クラウドだけでなく、データセンターでも同様だ。

The stuff they're doing is crazy.

彼らがやっていることはクレイジーだ。

We're gonna talk about it here in a bit.

それについては、もう少ししたらここで話すつもりだ。

But tell you what, go ahead and do this.

でも、こうしたらどうだ。

There's a link in the description.

説明文にリンクがある。

Just go ahead and open it and take a little glimpse at what they're doing.

さっそく開いて、彼らが何をしているのか少し覗いてみてほしい。

We're gonna dive deeper, so just go ahead and have it open right in your second monitor or something, or on the side, or minimize.

これからもっと深く潜っていくから、セカンドモニターか何かで開いておいてくれ。

I don't know what you're doing, I don't know how many monitors you have.

何をやっているのか知らないし、モニターが何台あるのかも知らない。

You have three, actually, Bob.

実は3つあるんだよ、ボブ。

I can see you.

君が見えるよ。

Oh, and before we get started, I have to show you this.

ああ、始める前にこれを見てほしい。

You can run your own private AI that's kind of uncensored.

検閲のない自分だけのAIを動かすことができる。

Like, watch this.

これを見てくれ。

I love you, dude, I love you.

愛しているよ。

So yeah, please don't do this to destroy me.

そうそう、僕を破滅させるようなことはしないでくれ。

Also, make sure you're paying attention.

また、注意を払うように。

At the end of this video, I'm doing a quiz.

このビデオの最後にクイズを出します。

And if you're one of the first five people to get 100% on this quiz, you're getting some free coffee.

そして、このクイズで100％を獲得した最初の5人のうちの1人なら、無料のコーヒーがもらえる。

Network Chuck coffee.

ネットワーク・チャック・コーヒー

So take some notes, study up, let's do this.

だから、メモを取って、勉強して、やろうじゃないか。

Now, real quick, before we install a private local AI model on your computer, what does it even mean?

さて、あなたのコンピューターにプライベートなローカルAIモデルをインストールする前に、本当に手短に説明しよう。

What's an AI model?

AIモデルとは？

At its core, an AI model is simply an artificial intelligence pre-trained on data we've provided.

AIモデルの核心は、我々が提供したデータで事前に訓練された人工知能に過ぎない。

One you may have heard of is OpenAI's chat GPT, but it's not the only one out there.

オープンエイのチャットGPTは聞いたことがあるかもしれないが、それだけではない。

Let's take a field trip.

遠足に行こう

We're gonna go to a website called huggingface.co.

これからhuggingface.coというウェブサイトに行く。

Just an incredible brand name, I love it so much.

本当に素晴らしいブランド名で、とても気に入っている。

This is an entire community dedicated to providing and sharing AI models.

これは、AIモデルを提供し、共有することに特化したコミュニティ全体である。

And there are a ton.

その数は膨大だ。

You're about to have your mind blown, ready?

あなたの心を揺さぶりますよ、いいですか？

I'm gonna click on models up here.

ここでモデルをクリックするよ。

Do you see that number?

この数字が見えますか？

505,000 AI models.

505,000のAIモデル。

Many of these are open and free for you to use, and they're pre-trained, which is kind of a crazy thing.

これらの多くはオープンで無料で使えるし、事前にトレーニングされている。

Let me show you this.

これをお見せしよう。

We're gonna search for a model named Llama 2, one of the most popular models out there.

最も人気のあるモデルのひとつであるラマ2というモデルを探すことにしよう。

We'll do Llama 2 7B.

ラマ2 7Bをやる。

I, again, I love the branding.

私は、このブランディングが大好きだ。

Llama 2 is an AI model known as an LLM or large language model.

ラマ2は、LLMまたは大規模言語モデルとして知られるAIモデルである。

OpenAI's chat GPT is also an LLM.

OpenAIのチャットGPTもLLMだ。

Now this LLM, this pre-trained AI model was made by Meta, AKA Facebook.

さて、このLLM、つまり事前に訓練されたAIモデルは、メタ、別名フェイスブックによって作られた。

And what they did to pre-train this model is kind of insane.

そして、このモデルを事前にトレーニングするために彼らが行ったことは、ある意味、狂気の沙汰だ。

And the fact that we're about to download this and use it, even crazier.

そして、これをダウンロードして使おうとしているという事実が、さらにクレイジーだ。

Check this out.

これを見てほしい。

If you scroll down just a little bit, here we go, training data.

少し下にスクロールすると、トレーニングデータがあります。

It was trained by over 2 trillion tokens of data from publicly available sources, instruction data sets, over a million human annotated examples.

これは、一般に公開されているソース、命令データセット、100万以上の人間が注釈を付けた例から2兆以上のトークンのデータによって訓練された。

Data freshness, we're talking July, 2023.

データの鮮度は2023年7月の話だ。

I love that term, data freshness.

データの鮮度という言葉が好きだ。

And getting the data was just step one.

データの入手はその第一歩に過ぎない。

Step two is insane because this is where the training happens.

ステップ2は非常識で、ここでトレーニングが行われるからだ。

Meta, to train this model, put together what's called a super cluster.

メタは、このモデルをトレーニングするために、スーパークラスターと呼ばれるものを作る。

It already sounds cool, right?

すでにクールな響きだろう？

This sucker is over 6,000 GPUs.

これは6,000以上のGPUを搭載している。

It took 1.7 million GPU hours to train this model.

このモデルのトレーニングには170万GPU時間を要した。

And it's estimated it costs around $20 million to train it.

訓練には2000万ドルほどかかると言われている。

And now Meta's just like, here you go kid, download this incredibly powerful thing.

そして今、メタは、さあ小僧、この信じられないほどパワフルなものをダウンロードするんだ。

I don't want to call it a being yet.

まだビーイングとは呼びたくない。

I'm not ready for that.

私はまだその準備ができていない。

But this intelligent source of information that you can just download on your laptop and ask it questions.

しかし、このインテリジェントな情報源は、ノートパソコンにダウンロードして質問するだけでいい。

No internet required.

インターネットは不要。

And this is just one of the many models we could download.

そしてこれは、私たちがダウンロードできる数多くのモデルのひとつに過ぎない。

They have special models like text to speech, image to image.

テキストから音声、画像から画像といった特殊なモデルもある。

They even have uncensored ones.

無修正のものまである。

They have an uncensored version of Allama too.

アラマのノーカット版もある。

This guy, George Sung, took this model and fine tuned it with a pretty hefty GPU, took him 19 hours and made it to where you could pretty much ask this thing anything you wanted.

このジョージ・サンという男は、このモデルをかなり重いGPUで微調整し、19時間かけて、ほとんど何でも聞けるようにした。

Whatever question comes to mind, it's not going to hold back.

どんな疑問が浮かんだとしても、それを抑えるつもりはない。

So how do we get this fine tuned model onto your computer?

では、この微調整されたモデルをどうやってコンピューターに取り込むのか？

Well, actually I should warn you, this involves quite a bit of Allamas, more than you would expect.

警告しておくが、この映画にはアラマスがかなり登場する。

Our journey starts at a tool called Allama.

私たちの旅はアラマという道具から始まる。

Let's go ahead and take a field trip out there real quick.

さっそく遠足に行ってみよう。

We'll go to allama.ai.

allama.aiに行こう。

All we have to do is install this little guy, Mr. Allama.

あとはこの小さな男、アラマ氏を設置するだけだ。

And then we can run a ton of different LLMs.

そうすれば、さまざまなLLMを運営することができる。

Llama2, Code Llama, told you lots of llamas.

ラマ2、コード・ラマは、たくさんのラマをあなたに伝えた。

And there's others that are pretty fun like Llama2 Uncensored, more llamas.

他にも『Llama2 Uncensored』のような、もっとラマがたくさん出てくる楽しいものもある。

Mistral, I'll show you in a second.

ミストラル、すぐにお見せしますよ。

But first, what do we install Allama on?

その前に、アラマを何にインストールするのか？

We can see right down here that we have it available on Mac OS and Linux, but oh, bummer, Windows coming soon.

マックOSとリナックスで利用可能なのはこの下を見ればわかる。

It's okay, because we've got WSL, the Windows Subsystem for Linux, which is now really easy to set up.

WSL（Linux用Windowsサブシステム）があるから大丈夫だ。

So we'll go ahead and click on download right here.

では、ここでダウンロードをクリックしましょう。

For Mac OS, you'll just simply download this and install it like one of your regular applications.

マックOSの場合は、これをダウンロードして通常のアプリケーションのようにインストールするだけだ。

For Linux, we'll click on this.

Linuxの場合は、これをクリックする。

We got a fun curl command that will copy and paste.

コピー＆ペーストができる楽しいcurlコマンドを手に入れた。

Now, because we're going to install WSL on Windows, this will be the same step.

さて、これからWSLをWindowsにインストールするのだから、これも同じステップだ。

So, Mac OS folks, go ahead and just run that installer.

Mac OSの皆さんは、このインストーラーを実行してください。

Linux and Windows folks, let's keep going.

LinuxとWindowsの皆さん、続けましょう。

Now, if you're on Windows, all you have to do now to get WSL installed is launch your Windows terminal.

Windowsをお使いの場合、WSLをインストールするために必要なことは、Windowsターミナルを起動することです。

Just go to your search bar and search for terminal.

検索バーでターミナルを検索すればいい。

And with one command, it'll just happen.

命令ひとつで、そうなるんだ。

It used to be so much harder, which is WSL dash dash install.

昔はもっと大変だった。WSLダッシュダッシュインストールだ。

It'll go through a few steps.

いくつかのステップを踏むことになる。

It'll install Ubuntu as default.

デフォルトでUbuntuがインストールされる。

I'll go ahead and let that do that.

そうさせてもらうよ。

And boom, just like that, I've got Ubuntu 22.04.3 LTS installed, and I'm actually inside of it right now.

こうして、Ubuntu 22.04.3 LTSがインストールされ、今まさにその中にいる。

So now at this point, Linux and Windows folks, we've converged, we're on the same path.

だから今、LinuxとWindowsの人たちは、収束して同じ道を歩んでいる。

Let's install Olama.

Olamaをインストールしよう。

I'm going to copy that curl command that Olama gave us, jump back into my terminal, paste that in there, and press enter.

オラマが教えてくれたcurlコマンドをコピーして、ターミナルに戻ってペーストし、エンターキーを押す。

Fingers crossed, everything should be going great, like the way it is right now.

今のように、すべてがうまくいくことを祈っている。

It'll ask for my sudo password.

sudoのパスワードを要求される。

And that was it.

それで終わりだった。

Olama is now installed.

オラマが設置された。

Now, this will directly apply to Linux people and Windows people.

さて、これはLinuxの人にもWindowsの人にもそのまま当てはまる。

See right here where it says NVIDIA GPU installed?

ここにNVIDIA GPUがインストールされていると書いてあるだろう？

If you have that, you're going to have a better time than other people who don't have that.

それがあれば、それがない人よりいい時間を過ごせるはずだ。

I'll show you here in a second.

すぐにお見せしましょう。

If you don't have it, that's fine.

もし持っていないなら、それでも構わない。

We'll keep going.

これからも続けるよ。

Now let's run an LLM.

では、LLMを走らせてみよう。

We'll start with Llama 2.

まずはラマ2から。

So we'll simply type in Olama, run, and then we'll pick one, Llama 2.

だからOlamaと入力して実行し、次にLlama 2を選ぶだけだ。

And that's it.

それで終わりだ。

Ready, set, go.

準備万端だ。

It's going to pull the manifest.

マニフェストを引き上げることになる。

It'll then start pulling down and downloading Llama 2, and I want you to just realize this, that powerful Llama 2 pre-training we talked about, all the money and hours spent, that's how big it is.

そして、Llama 2のダウンロードが開始される。

This is the 7 billion parameter model, or the 7B.

これが70億パラメータモデル（7B）だ。

It's pretty powerful.

かなり強力だ。

And we're about to literally have this in the palm of our hands.

そして、我々はこれを文字通り手のひらの上で手に入れようとしている。

In like three, two, one.

3、2、1のようにね。

Oh, I thought I had it.

ああ、持っていると思った。

Anyways, it's almost done.

とにかく、ほぼ完成した。

And boom, it's done.

そしてドカンと完成。

We've got a nice success message right here, and it's ready for us.

素晴らしい成功のメッセージがここにある。

We can ask you anything.

何でも聞いてください。

Let's try, what is a pug?

パグって何？

Now, the reason this is going so fast, just like a side note, is that I'm running a GPU, and AI models love GPUs.

さて、余談だが、なぜこれほど速く進んでいるかというと、私はGPUを使っていて、AIモデルはGPUが大好きだからだ。

So let me show you real quick.

では、早速お見せしよう。

I did install Llama on a Linux virtual machine.

Linuxの仮想マシンにLlamaをインストールした。

And I'll just demo the performance for you real quick.

では、早速デモをお見せしよう。

By the way, if you're running like a Mac with an M1, M2, or M3 processor, it actually works great.

ちなみに、M1、M2、M3プロセッサーを搭載したMacのようなものであれば、実際にうまく動作する。

I forgot to install it.

インストールするのを忘れていた。

I gotta install it real quick.

早く取り付けなきゃ。

And it'll ask you that same question, what is a pug?

パグとは何ですか？

It's going to take a minute.

ちょっと時間がかかるよ。

It'll still work, but it's going to be slower on CPUs.

それでも動作はするが、CPUの処理速度が遅くなる。

And there it goes.

そして、こうなった。

It didn't take too long, but notice it is a bit slower.

それほど時間はかからなかったが、少し遅いことに気づいてほしい。

Now, if you're running WSL, and you know you have an Nvidia GPU and it didn't show up, I'll show you in a minute how you can get those drivers installed.

WSLを実行していて、Nvidia GPUがあることが分かっていて、それが表示されなかった場合、ドライバをインストールする方法をすぐにお見せします。

But anyways, just sit back for a minute, sip your coffee, and think about how powerful this is.

とにかく、ちょっと腰を落ち着けて、コーヒーを飲みながら、これがどれほどパワフルか考えてみてほしい。

The tinfoil hat version of me, stinkin' loves this.

ティンホイルハットバージョンの僕は、これが大好きなんだ。

Because let's say the zombie apocalypse happens, right?

だって、ゾンビ・アポカリプスが起こったとするだろ？

The grid goes down, things are crazy.

送電網がダウンし、物事は狂っている。

But as long as I have my laptop and a solar panel, I still have AI, and it can help me survive the zombie apocalypse.

しかし、ノートパソコンとソーラーパネルがある限り、私にはまだAIがあり、ゾンビの黙示録を生き延びる手助けをしてくれる。

Let's actually see how that would work.

実際にどうなるか見てみよう。

It gives me next steps.

次のステップを与えてくれる。

I can have it help me with the water filtration system.

浄水システムで助けてもらうこともできるんだ。

This is just cool, right?

クールだろ？

It's amazing.

素晴らしいよ。

But can I show you something funny?

でも、面白いものを見せてあげようか？

You may have caught this earlier.

あなたはもっと早くこれを知っていたかもしれない。

Who is Network Chuck?

ネットワーク・チャックとは？

What?

え？

Dude, I've always wanted to be Rick Grimes.

僕はリック・グライムスになりたかったんだ。

That is so fun.

それはとても楽しい。

But seriously, it kind of like hallucinated there.

でも真面目な話、あそこでは幻覚を見ているようだった。

It didn't have the correct information.

正しい情報がなかった。

It's so funny how it mixed the zombie apocalypse prompt with me.

ゾンビ・アポカリプスのプロンプトが僕の中に混ざったのがとても面白い。

I love that so much.

それがとても好きなんだ。

Let's try a different model.

別のモデルを試してみよう。

I'll say bye.

さよならを言うよ。

I'll try a really fun one called Mistral.

ミストラルという本当に楽しいものを試してみるよ。

And by the way, if you want to know which ones you can run with OLAMA, which LLMs, they got a page for their models right here.

ちなみに、OLAMAでどのLLMを走らせることができるのか知りたければ、ここにモデルのページがある。

All the ones you can run, including LLAMA2 Uncensored.

LLAMA2 Uncensoredを含め、走れるものはすべて。

Wizard Math.

ウィザード数学

I might give that to my kids, actually.

子供たちにもあげようかな。

Let's see what it says now.

では、その内容を見てみよう。

Who is Network Chuck?

ネットワーク・チャックとは？

Now my name is not Chuck Davis.

今、私の名前はチャック・デイビスではない。

And my YouTube channel is not called Network Chuck on Tech.

私のYouTubeチャンネルは『Network Chuck on Tech』という名前ではない。

So clearly the data this thing was trained on is either not up to date or just plain wrong.

ということは、明らかにこのトレーニングで使用されたデータは最新ではないか、あるいは単に間違っているということだ。

So now the question is, cool, we've got this local private AI, this LLM.

そこで今問題になっているのは、地元の民間AIであるLLMを手に入れたということだ。

That's super powerful.

超強力だ。

But how do we teach it the correct information for us?

しかし、どうすれば正しい情報を教えてくれるのだろうか？

How can I teach it to know that I'm Network Chuck, Chuck Keith, not Chuck Davis, and my channel's called Network Chuck?

私がネットワーク・チャックであり、チャック・デイビスではなくチャック・キースであり、私のチャンネルがネットワーク・チャックであることをどうやって教えればいいんだ？

Or maybe I'm a business and I want it to know more than just what's publicly available.

あるいは、私はビジネスをしていて、公表されていること以上のことを知りたいのかもしれない。

Because sure, right now, if you downloaded this LLM, you could probably use it in your job.

というのも、確かに今、このLLMをダウンロードすれば、おそらく仕事に使えるだろう。

But you can only go so far without it knowing more about your job.

しかし、自分の仕事についてもっと知ってもらわなければ、ここまでしか進めない。

For example, maybe you're on a help desk.

例えば、あなたはヘルプデスクをしているかもしれない。

Imagine if you could take your help desk's knowledge base, your IT procedures, your documentation.

ヘルプデスクのナレッジ・ベース、IT手順書、ドキュメントを活用できるとしたらどうだろう。

Not only that, but maybe you have a database of closed tickets, open tickets.

それだけでなく、もしかしたらクローズドチケットやオープンチケットのデータベースを持っているかもしれない。

If you could take all that data and feed it to this LLM and then ask it questions about all of that, that would be crazy.

すべてのデータをこの法学修士課程に送り込み、そのすべてについて質問することができるとしたら、それはクレイジーなことだ。

Or maybe you want it to help troubleshoot code that your company's written.

あるいは、あなたの会社が書いたコードのトラブルシューティングに役立てたいかもしれない。

You can even make this LLM public facing for your customers.