Yesterday, Meta released its biggest and baddest large language model ever, which also happens to be free and arguably open source.

昨日、Metaはこれまでで最大かつ最悪の大規模言語モデルをリリースした。

It took months to train on 16,000 Nvidia H100 GPUs, which likely cost hundreds of millions of dollars and used enough electricity to power a small country.

16,000個のNvidia H100 GPUでトレーニングするのに数ヶ月かかり、おそらく数億ドルかかり、小国の電力に相当する電力を使用した。

But the end result is a massive 405 billion parameter model with a 128,000 token context length, which according to benchmarks is mostly superior to OpenAI's GPT-4.0 and even beats Claude 3.5's SONNET on some key benchmarks.

しかし、最終的な結果は、128,000トークンのコンテキスト長を持つ巨大な4050億パラメータモデルであり、ベンチマークによれば、これはOpenAIのGPT-4.0をほぼ凌駕し、いくつかの主要なベンチマークではClaude 3.5のSONNETを凌いでいる。

But benchmarks lie, and the only way to find out if a new model is any good is to vibe with it.

しかし、ベンチマークは嘘をつくものであり、新しいモデルが優れているかどうかを知る唯一の方法は、実際に使ってみることだ。

In today's video, we'll try out LLAMA 3.1 Heavy and find out if it actually doesn't suck like most Meta products.

本日のビデオでは、LLAMA 3.1 Heavyを試してみて、他のMeta製品のように実際に最悪でないかどうかを確認する。

It is July 24th, 2024, and you're watching The Code Report.

2024年7月24日、あなたは『コード・レポート』を見ている。

AI hype has died down a lot recently, and it's been almost a week since I've mentioned it in a video, which I'm extremely proud of.

最近、AIの誇大宣伝はだいぶ沈静化し、私がビデオで言及するのはほぼ1週間ぶりだ。

But LLAMA 3.1 is a model that cannot be ignored.

しかし、LLAMA3.1は無視できないモデルだ。

It comes in three sizes, 8B, 7DB, and 405B, where B refers to billions of parameters, or the variables that the model can use to make predictions.

サイズは8B、7DB、405Bの3種類で、Bは数十億のパラメータ、つまりモデルが予測に使用できる変数を意味する。

In general, more parameters can capture more complex patterns, but more parameters doesn't always mean that the model is better.

一般的に、パラメータが多ければ多いほど複雑なパターンを捉えることができるが、パラメータが多いからといって必ずしもモデルが優れているとは限らない。

GPT-4 has been rumored to have over 1 trillion parameters, but we don't really know the The cool thing about LLAMA is that it's open source.

GPT-4は1兆以上のパラメーターを持つと噂されているが、実際のところはわからない。 LLAMAのクールなところは、オープンソースだということだ。

Well, kind of.

まあ、そんなところだ。

You can make money off of it, as long as your app doesn't have 700 million monthly active users, in which case you need to request a license from Meta.

あなたのアプリの月間アクティブユーザー数が7億人でない限り、あなたはそれでお金を稼ぐことができます。

What's not open source is the training data, which might include your blog, your github repos, all your facebook posts from 2006, and maybe even your whatsapp messages.

オープンソースでないのは学習データで、あなたのブログ、githubのレポ、2006年からのfacebookの投稿、そしてwhatsappのメッセージも含まれるかもしれない。

What's interesting is that we can take a look at the actual code used to train this model, which is only 300 lines of Python and PyTorch, along with a library called Fairescale to distribute training across multiple GPUs.

興味深いのは、このモデルの学習に使われた実際のコードを見てみることができることだ。PythonとPyTorchでわずか300行で、複数のGPUに学習を分散させるためのFairescaleと呼ばれるライブラリも含まれている。

It's a relatively simple decoder-only transformer, as opposed to the mixture-of-experts approach used in a lot of other big models, like its biggest open source rival, Mixtral.

これは比較的シンプルなデコーダのみのトランスフォーマーであり、オープンソースの最大のライバルであるMixtralのような、他の多くのビッグモデルで使われている専門家の混合アプローチとは対照的だ。

Most importantly though, the model weights are open, and that's a huge win for developers building AI-powered apps.

しかし、最も重要なことは、モデルのウェイトがオープンであることだ。

Now you don't have to pay a bunch of money to use the GPT-4 API, and instead can self-host your own model and pay a cloud provider a bunch of money to rent some GPUs.

GPT-4APIを使うために大金を払う必要はなく、自分のモデルをセルフホストし、クラウドプロバイダーに大金を払ってGPUを借りることができる。

The big model would not be cheap to self-host.

大がかりなモデルは、セルフ・ホスティングでも安くはないだろう。

I used LLAMA to download it and use it locally, but the weights weigh 230 gigabytes, and even with an RTX 4090, I wasn't able to ride this LLAMA.

LLAMAを使ってダウンロードしてローカルで使用したが、重さが230ギガバイトもあり、RTX 4090でもこのLLAMAには乗れなかった。

The good news though is that you can try it for free on platforms like Meta.ai, or platforms like Grok or Nvidia's Playground.

しかし良いニュースは、Meta.aiのようなプラットフォームや、GrokやNvidiaのPlaygroundのようなプラットフォームで無料で試すことができるということだ。

Now the initial feedback from random weirdos on the internet is that Big LLAMA is somewhat disappointing, while the smaller LLAMAs are quite impressive.

今、インターネット上のランダムな変人たちからの最初のフィードバックは、大きなLLAMAはやや期待外れで、小さなLLAMAはかなり印象的だったというものだ。

But the real power of LLAMA is that it can be fine-tuned with custom data, and in the near future, we'll have some amazing uncensored fine-tuned models like Dolphin.

しかし、LLAMAの本当のパワーは、カスタムデータで微調整が可能なことだ。近い将来、ドルフィンのような素晴らしいノーカット微調整モデルが登場するだろう。

My favorite test for new LLMs is to ask it to build a Svelte 5 web application with runes, which is a new yet-to-be-released feature.

新しいLLMに対する私のお気に入りのテストは、まだリリースされていない新機能であるルーンを使ってスベルテ5のウェブ・アプリケーションを構築するように頼むことだ。

The only model I've seen do this correctly in a single shot is CLAWD 3.5 Sonnet, and LLAMA 405B failed pretty miserably, and seems to have no awareness of this feature.

一発でこれが正しくできたのはCLAWD3.5 Sonnetだけで、LLAMA 405Bはかなり惨敗し、この機能に対する認識もないようだ。

Overall though, it is pretty decent coding, but still clearly behind CLAWD.

全体的に見れば、かなりまともなコーディングだが、それでもCLAWDには明らかに遅れをとっている。

I also had it do some creative writing and poetry, and overall it's pretty good, just not the best I've ever seen.

クリエイティブ・ライティングと詩も書かせた。

If we take a minute to reflect though, what's crazy is that we have multiple different companies that have trained massive models with massive computers, and they're all plateauing at the same level of capability.

しかし、少し考えてみると、おかしなことに、巨大なコンピューターで巨大なモデルをトレーニングした複数の異なる企業があり、それらはすべて同じレベルの能力で停滞している。

OpenAI was the first to make a huge leap from GPT-3 to GPT-4, but since then, it's only been small incremental gains.

GPT-3からGPT-4への大きな飛躍はOpenAIが最初だったが、それ以降は小さな進歩にとどまっている。

Last year, Sam Altman practically begged the government to regulate AI to protect humanity, but a year later, we still haven't seen the apocalyptic Skynet human extinction event that they promised us.

昨年、サム・アルトマンは人類を守るためにAIを規制するよう政府に懇願したが、1年経った今も、彼らが約束した黙示録的なスカイネットによる人類滅亡事件は起きていない。

I mean, AI still hasn't even replaced programmers.

つまり、AIはまだプログラマーの代わりにもなっていない。

It's like that time airplanes went from propellers to jet engines, but the advancement to lightspeed engines never happened.

飛行機がプロペラからジェットエンジンになったが、光速エンジンへの進歩は起こらなかったようなものだ。

When talking about LLMs, artificial superintelligence is still nowhere in sight, except in the imagination of the Silicon Valley mafia.

LLMについて語るとき、人工超知能はシリコンバレーのマフィアの想像の中以外には、まだどこにもない。

It feels wrong to say this, but Meta is really the only big tech company keeping it real in the AI space.

こんなことを言うのは間違っているような気がするが、メタはAI分野で現実を維持している唯一の大企業なのだ。

I'm sure there's an evil ulterior motive hidden in there somewhere, but LLAMA is one small step for man, one giant leap for Zuckerberg's redemption arc.

どこかに邪悪な下心が隠されているのは確かだが、LLAMAは人間にとっては小さな一歩であり、ザッカーバーグの贖罪の弧にとっては大きな飛躍なのだ。

This has been The Code Report, thanks for watching, and I will see you in the next one.

以上、コード・レポートでした。ご視聴ありがとうございました。