Think of Matmul like a special kind of multiplication that helps neural networks learn and represent complex relationships between data.

Matmulは、ニューラルネットワークがデータ間の複雑な関係を学習し、表現するのを助ける特別な掛け算のようなものだと考えてほしい。

Imagine you have two sets of numbers or matrices that represent features or patterns in your data.

データの特徴やパターンを表す2組の数値や行列があるとする。

Now Matrix Multiplication or Matmul combines these sets by multiplying and adding corresponding elements, creating a totally new matrix that represents the relationship between the original matrices or features.

行列の乗算またはMatmulは、対応する要素を乗算および加算することによってこれらのセットを結合し、元の行列または特徴間の関係を表すまったく新しい行列を作成する。

This process helps neural networks transform input into meaningful output like predictions or classification.

このプロセスは、ニューラルネットワークが入力を予測や分類のような意味のある出力に変換するのを助ける。

Imagine you have a matrix of images and a matrix of filters that detect edges.

画像の行列と、エッジを検出するフィルターの行列があるとする。

Matmul combines these matrices to produce a new matrix that represents the edges in each image.

Matmulはこれらの行列を結合し、各画像のエッジを表す新しい行列を生成する。

This paper, which you can see on your screen, has taken the social media of AI by storm by giving it a new twist.

画面上でご覧いただけるこの論文は、AIのソーシャルメディアに新風を吹き込み、一世を風靡した。

Before I tell you in detail what exactly this paper has done here, let me give a bit more technical detail on this Matmul because it's a pivotal concept in this whole scenario to understand this better.

この論文が具体的に何をしたのかを詳しく説明する前に、このマトムルについてもう少し技術的なことを説明しよう。このシナリオ全体をよりよく理解するために、マトムルは極めて重要な概念だからだ。

Matrix Multiplication or Matmul, as I said, it's a quite dominant operation in most of the models these days, where dense layers involve vector matrix multiplication.

行列乗算またはMatmulは、私が言ったように、最近のほとんどのモデルでかなり支配的な操作であり、高密度のレイヤーはベクトル行列の乗算を伴う。

Convolutions can be implemented as block sparse VMMs with shared weight and self-attention relies on matrix-matrix multiplication.

畳み込みは、重みを共有するブロックスパースVMMとして実装でき、自己アテンションは行列-行列乗算に依存する。

The prevalence of Matmul is primarily due to graphics processing units or GPUs being optimized for Matmul operations.

Matmulの普及は、主にグラフィック・プロセッシング・ユニット（GPU）がMatmul演算に最適化されていることによる。

By leveraging Compute Unified Device Architecture or CUDA and highly optimized linear algebra libraries such as Kaplas, the Matmul operation can be efficiently parallelized and accelerated.

Compute Unified Device ArchitectureまたはCUDAと、Kaplasのような高度に最適化された線形代数ライブラリを活用することで、Matmul演算を効率的に並列化し、高速化することができる。

This optimization was a key factor in the victory of AlexNet, by the way, which is a very famous competition.

ちなみに、この最適化がアレックスネットの勝利の重要な要因となった。

Despite its prevalence in deep learning, Matmul operations account for the dominant portion of computational expense, often consuming the majority of the execution time and memory access during both training and inference phases.

ディープラーニングにおけるその普及にもかかわらず、Matmul演算は計算費用の大部分を占め、多くの場合、学習と推論の両方の段階で実行時間とメモリアクセスの大部分を消費する。

A lot of work has already been done where Matmul has been replaced with simpler operations through two main stages.

すでに多くの作業が行われ、マトムルは2つの主要な段階を経て、よりシンプルなオペレーションに置き換えられている。

First, strategy or stage involves substituting Matmul with elementary operations and the second approach employs binary or ternary quantization, simplifying Matmul to operations where values are either flipped or zeroed out before accumulation.

第一の戦略や段階は、Matmulを初等演算で置き換えることであり、第二のアプローチは、Matmulを単純化し、累積の前に値を反転させるか、ゼロにする演算を行う二項または三項量子化を採用することである。

In this paper, these researchers have developed the first scalable Matmul-free language model or Matmul-free LM by using additive operations in dense layers and element-wise enameled products for self-attention-like functions.

この論文では、密な層での加算演算と、自己注意のような関数の要素ごとのエナメル積を用いることで、スケーラブルなMatmul-free言語モデル（Matmul-free LM）を初めて開発した。

Specifically, ternary weights eliminate Matmul in dense layers, similar to BNNs.

具体的には、BNNと同様に、密な層では3項重みがマトマルを排除する。

To remove Matmul from self-attention, they have optimized the GRU to rely solely on element-wise products and show that this model competes with state-of-the-art transformers while eliminating all Matmul operations.

Matmulを自己注目から外すために、彼らはGRUをエレメント単位の積のみに依存するように最適化し、Matmulの操作をすべて排除しながら、このモデルが最先端の変圧器と競合することを示した。

In this diagram, you can see the overview of this Matmul-free LM where the sequence of operations are shown for vanilla self-attention and the Matmul-free token mixer which is on the top right and ternary accumulations.

この図では、このMatmul-free LMの概要が示されており、バニラの自己アテンションと、右上にあるMatmul-freeトークンミキサー、そして三項アキュムレーションについての一連の操作が示されている。

The Matmul-free LM employs a Matmul-free token mixer and a Matmul-free channel mixer to while reducing compute cost.

Matmul-free LMは、Matmul-freeトークンミキサーとMatmul-freeチャネルミキサーを採用し、計算コストを削減する。

Similarly, if you look at this diagram, this primarily shows you what exactly is the comparison with other models and a lot of other stuff around performance comparison and analysis of different models.

同様に、この図を見ると、主に他のモデルとの比較や、異なるモデルの性能比較や分析にまつわる様々なことが示されている。

I will also drop the link to this paper in Vute's description and you can read it as your layer because it's quite an interesting read in my humble opinion.

ヴュートの説明の中にこの論文へのリンクも落としておくので、自分のレイヤーとして読んでみてほしい。

Now, look at this diagram.

さて、この図を見てほしい。

This actually shows you a bit more in-depth and easy way as what is happening here.

これは実際に、ここで起こっていることとして、もう少し踏み込んだ簡単な方法を示している。

So, to test the power usage and effectiveness of the Matmul-free LM on custom hardware that can better exploit ternary operations, these researchers have created an FPGA accelerator in System Verilog and this is the whole overview of it.

そこで、3項演算をよりうまく利用できるカスタム・ハードウェア上でMatmulフリーLMの電力使用量と有効性をテストするために、研究者たちはシステムVerilogでFPGAアクセラレータを作成した。

There are four functional units in this design, row-wise operation, root-means-square, load-store and ternary matrix multiplication and they each allow for simple out-of-order execution.

この設計には、行単位演算、二乗平均平方根、ロードストア、三項行列乗算の4つの機能ユニットがあり、それぞれ単純なアウトオブオーダー実行が可能である。

They also wrote a custom assembler for their custom instruction set which was used to convert assembly files into an instruction row and there is a lot of detail around there that they also have this register router as you can see in the middle that delegates incoming instructions into available registers.

また、アセンブラ・ファイルを命令列に変換するためのカスタム命令セット用のカスタム・アセンブラも書いており、この辺りには、入ってくる命令を利用可能なレジスタに委譲する、真ん中にあるようなレジスタ・ルーターがあることが詳しく書かれている。

The register file consists of eight registers, each storing one vector in a separate SRAM array.

レジスタファイルは8つのレジスタで構成され、それぞれが独立したSRAMアレイに1つのベクタを格納する。

Each register SRAM array has a read and write port that are delegated to at most one instruction at a time.

各レジスタSRAMアレイには、一度に最大1つの命令に委譲される読み出しポートと書き込みポートがある。

If an instruction requests access to a functional unit or a register that is busy, the program counter will stall until the functional unit or register has been freed.

命令がビジー状態の機能ユニットまたはレジスタへのアクセスを要求した場合、その機能ユニットまたはレジスタが解放されるまで、プログラム・カウンタはストールします。

If two instructions do not block each other, they execute simultaneously and then also we see there is a root-means-square functional unit that uses a specialized hardware.

2つの命令が互いにブロックしない場合、それらは同時に実行され、また、特殊なハードウェアを使用する二乗根機能ユニットが存在することがわかる。

I'll go to preserve precision and there are few stages of it and then we have this ternary matrix multiplication functional unit that takes in a DRAM address for a ternary matrix then performs a T-MATMUL on specified vector.

そして、この3値行列乗算機能ユニットがあり、3値行列のDRAMアドレスを受け取り、指定されたベクトルに対してT-MATMULを実行する。

This architecture entirely places a ternary matrices and DRAM while running a T-MATMUL instruction and SRAM FIFO is simultaneously filled with sequential DRAM fetch result.

このアーキテクチャでは、T-MATMUL命令を実行しながら、3値行列とDRAMを完全に配置し、同時にSRAM FIFOをシーケンシャルなDRAMフェッチ結果で満たします。

So the results are simply amazing and the performance and area impact shows that this is the simplest case where the core only receives 8-bit at a time from memory.

性能と面積の影響は、コアがメモリから一度に8ビットしか受信しない最も単純なケースであることを示している。

All in all, amazing demonstration of the feasibility and effectiveness of the first scalable MATMUL-free language model.

全体として、初のスケーラブルなMATMULフリー言語モデルの実現可能性と有効性を示す素晴らしいデモンストレーションとなった。

This work challenges the paradigm that MATMUL operations are indispensable for building high-performance language models and paves the way for development of more efficient and hardware-friendly architectures.

この研究は、MATMUL演算が高性能言語モデルの構築に不可欠であるというパラダイムに挑戦し、より効率的でハードウェアに優しいアーキテクチャの開発に道を開くものである。

They have also achieved performance on par with state-of-the-art transformers while eliminating the need for MATMUL operations with an optimized implementation that significantly enhances both training and inference efficiency reducing both memory usage and latency.

また、学習と推論の効率を大幅に向上させ、メモリ使用量と待ち時間の両方を削減する最適化された実装により、MATMUL演算の必要性を排除しながら、最先端の変換器と同等の性能を達成した。

As the demand for deploying language models on various platforms grows, MATMUL-free LMs present a promising direction for creating models that are both effective and resource efficient.

様々なプラットフォーム上で言語モデルを展開する需要が高まる中、MATMULフリーのLMは、効果的かつリソース効率の高いモデルを作成するための有望な方向性を示している。

So amazing, amazing stuff and by prioritizing the development and deployment of MATMUL-free architecture such as this one, the future of LMs will only become more accessible, efficient and sustainable and probably that is why this paper has really taken the AI social media by storm and sort of everyone is talking about it because this seems real and I don't think so this will just remain present in the paper.

このようなMATMULフリーのアーキテクチャを優先的に開発・導入することで、LMの未来はよりアクセスしやすく、効率的で持続可能なものになるでしょう。おそらく、この論文がAIのソーシャルメディアに嵐を巻き起こし、誰もがこのことについて話しているのは、これが現実のものに思えるからでしょう。

I think this we are going to see a lot of implementation of it.

私は、これから多くの導入が見られると思う。

We will see a lot of memory reduction, efficiency gains and hardware optimization.

メモリの削減、効率性の向上、ハードウェアの最適化が多く見られるだろう。

Let me know what you think.

感想を聞かせてくれ。

If you like the content, please consider subscribing to the channel and if you are already subscribed then please share it among your network as it helps.

もしこのコンテンツを気に入っていただけたら、チャンネル登録をご検討ください。

Thanks for watching.

ご視聴ありがとう。