Big fun bro, yeah?

楽しみだね

Alright, so hi everybody, it's me, Cary C- Now, I've always thought of myself as a musical person.

さて、皆さんこんにちは、僕だよ、ケーリーCだ。

Isn't it amazing?

すごいでしょ？

No, no Cary, that isn't amazing.

いや、いや、カリー、それはすごいことじゃないよ。

Anyway, given that I've used AI to compose Baroque music, And I've used AI to compose jazz music, I think it just makes sense for me to fast forward the musical clock another 60 years to compose some rap music.

とにかく、私はAIを使ってバロック音楽を作曲し、AIを使ってジャズ音楽を作曲してきた。

But before I do that, I gotta give credit to Siraj Raval, who actually did this first.

しかし、その前にシラジ・ラバルの功績を称えなければならない。

Homie grows punani, likely I'm totin' inspired enough.

ホーミーはプナニを栽培している。

But you know what they say, no rap battle's complete without two contenders.

しかし、ラップ・バトルは2人の候補者がいなければ成立しない、という言葉をご存知だろうか。

So, what did I do to build my own digital rap god?

では、自分のデジタル・ラップの神様を作るために、私は何をしたのか？

Well, I used Andrej Karpathy's recurrent neural network code again.

アンドレイ・カルパシーのリカレント・ニューラル・ネットワークのコードをまた使ったんだ。

An RNN is just an ordinary neural network, but we give it a way to communicate with its future self with this hidden state, meaning it can store memory.

RNNは普通のニューラルネットワークだが、この隠れた状態によって未来の自分と通信する方法を与えた。

Now, I've done this countless times before, so I won't dive too deep into what an RNN is.

さて、RNNとは何かについては、これまで何度も説明してきたので、あまり深入りしないことにする。

Instead, I want to focus more on a twist I implemented that makes this quote-unquote algorithm more musical.

その代わり、私はこの引用アルゴリズムがより音楽的になるように私が実装した工夫にもっと焦点を当てたい。

Before I do that though, I need to introduce you to Dave from Boina Band.

でもその前に、ボイナ・バンドのデイブを紹介しなければならない。

He's, um, a tad bit good at rapping, I guess.

彼は、うーん、ラップがちょっと得意かな。

So when I first trained Karpathy's RNN to generate rap lyrics in 2017, I invited him over to read the lyrics my algorithm had written.

だから2017年に初めてカルパシーのRNNにラップの歌詞を生成させる訓練をしたとき、私は彼を招いて私のアルゴリズムが書いた歌詞を読んでもらった。

But then, I lost the footage, and then he lost the footage, and well, long story short, there's no footage of it ever happening.

しかし、その後、私は映像を失い、彼も映像を失い、まあ、長い話だが、その映像は残っていない。

That made me bummed for a bit, but then I realized this could be interpreted as a sign from above.

でも、これは上からのお告げだと解釈できることに気づいたんだ。

Perhaps the AI prevented us humans from rapping its song because it wanted to do the rap itself.

おそらくAIは、自分自身がラップをしたいがために、私たち人間にラップをさせないようにしたのだろう。

Well, Computery, if you insist.

どうしてもと言うなら、コンピュテリーだ。

To give Computery a voice, I downloaded this Python module that lets us use Google's text-to-speech software directly.

Computeryに声を与えるために、Googleの音声合成ソフトを直接使えるようにするPythonモジュールをダウンロードした。

I'm pretty sure you've heard this text-to-speech voice before.

この音声合成の音声は聞いたことがあるだろう。

Now, as we hear Computery's awesome rap, I'm gonna show the lyrics on screen.

では、コンピュテリーの素晴らしいラップを聴きながら、スクリーンに歌詞を表示しよう。

If you're up for it, you viewers out there can sing along too.

その気になれば、視聴者の皆さんも一緒に歌うことができる。

Alright, let's drop this track.

よし、この曲を落とそう。

Wait, why aren't you singing along?

待って、どうして一緒に歌わないの？

Why aren't you- The reason it performed so badly is because it hasn't had any training data to learn from.

なぜそうしないのか......成績が悪かったのは、学習するためのトレーニングデータがなかったからだ。

So let's go find some training data.

では、トレーニングデータを探してみよう。

With my brother's help, I used a large portion of the original hip-hop lyrics archive as my dataset to train my algorithm on.

弟の助けを借りて、私はアルゴリズムを訓練するためのデータセットとして、オリジナルのヒップホップ歌詞アーカイブの大部分を使用した。

This includes works by rap giants like Kendrick Lamar and Eminem.

これにはケンドリック・ラマーやエミネムといったラップ界の巨人の作品も含まれる。

We stitched around 6,000 songs into one giant text file, separate with line breaks, to create our final dataset of 17 million text characters.

約6,000曲を1つの巨大なテキストファイルにつなぎ合わせ、改行で区切って、1,700万文字のテキストからなる最終的なデータセットを作成した。

Wait, that's only 17 megabytes.

待ってくれ、17メガバイトしかない。

A single 4-minute video typically takes up more space than that.

1本の4分のビデオは通常、それ以上のスペースを取る。

Yeah, it turns out that text, as a data type, is incredibly dense.

そう、データ型としてのテキストは信じられないほど密度が高いことがわかった。

You can store a lot of letters in the same amount of space as a short video.

短いビデオと同じスペースにたくさんの文字を保存できる。

Let's see the algorithm learn.

アルゴリズムを見てみよう。

Okay, ready?

いいか？

Go.

行くんだ。

Stop.

止まれ。

As you can see, after just 200 milliseconds, less than a blink of an eye, it learned to stop putting spaces everywhere.

ご覧のように、わずか200ミリ秒、瞬きする間もないうちに、空白をあちこちに入れるのをやめることを学習した。

In the dataset, you'll rarely see more than two spaces in a row, so it makes sense that the AI would learn to avoid doing that too.

データセットでは、2つ以上のスペースが連続することはほとんどないので、AIがそれを避けるように学習するのは理にかなっている。

However, I can see it still putting in uncommon patterns like double I's and capital letters in the middle of words, so let's keep training to see if it learns to fix that.

しかし、ダブルIや単語の真ん中に大文字を入れるなど、まだ一般的でないパターンが見受けられる。

We're half a second into training now, and the pesky double I's seem to have vanished.

今、練習を始めて半分が過ぎたところだが、厄介なダブルIは消えてしまったようだ。

The AI has also drastically shortened the length of its lines, but behind the scenes, that's actually caused by an increase of the frequency of the line break character.

また、AIは行の長さを極端に短くしているが、その裏では改行文字の頻度を増やしている。

For the AI, the line break is just like any other text character.

AIにとって、改行は他のテキスト文字と同じだ。

However, to match the dataset, we need a good combination of both line breaks and spaces, which we actually get in the next iteration.

しかし、データセットと一致させるには、改行とスペースの両方をうまく組み合わせる必要がある。

And here, we see the AI's first well-formatted word, it.

そしてここに、AIが初めて整形した単語、itがある。

Wait, does eco count as a word?

待って、エコは単語としてカウントされるの？

Not sure about that.

それはどうかな。

Oh my gosh, you guys, Future Kerry here.

フューチャー・ケリーだ。

I realize that's not an uppercase I, it's a lowercase L.

これは大文字のIではなく、小文字のLなんだ。

Major 2011 vibes.

メジャー2011の雰囲気だ。

Now at one full second into training, we see the AI has learned that commas are often not followed by letters directly.

学習が始まって1秒が経過した時点で、AIはカンマの後に文字が直接続かないことが多いことを学習していることがわかる。

There should be a space or a line break afterwards.

その後にスペースか改行を入れる。

By the way, the average human reads at 250 words per minute, so a human learning how to rap alongside the AI has currently read four words.

ちなみに、人間の平均的な読書速度は1分間に250単語なので、AIと一緒にラップを学ぶ人間は現在4単語を読んでいることになる。

I'm gonna let it run in the background as I talk about other stuff, so one thing I keep getting asked is, what is loss?

他のことを話しながら、バックグラウンドで流すつもりだ。それで、私がいつも聞かれることのひとつが、損失とは何かということだ。

Basically, when a neural network makes a guess about what the next letter is gonna be, it assigns a probability to each letter type.

基本的に、ニューラルネットワークが次の文字を推測するとき、それぞれの文字の種類に確率を割り当てる。

And loss just measures how far away those probabilities were from the true answer given by the data set, on average.

そして損失は、それらの確率がデータセットが与えた真の答えから平均してどれだけ離れていたかを測定するだけである。

So, lower loss usually means the model can predict true rap lyrics better.

つまり、損失が少ないということは、通常、モデルが真のラップ歌詞をよりよく予測できるということだ。

Now I'm playing the training time-lapse ten times faster.

今はトレーニングのタイムラプスを10倍速く再生している。

The loss function actually held pretty constant for the first 18 seconds, then it started to drop.

損失関数は最初の18秒間はほぼ一定で、その後下がり始めた。

That big drop corresponds to the text looking much more English, with the lines finally beginning to start with capital letters, took long enough, and common words like you, I, and the making their first appearance.

その大きな落差は、テキストがより英語的に見えることに対応している。行がようやく大文字で始まり、十分な長さがあり、you、I、theのような一般的な単語が初めて登場する。

By 54 seconds, I'd say about half of the words are real, so rudimentary grammar rules can start forming.

54秒までに、約半分の単語が実在することになり、初歩的な文法規則が形成され始めると思う。

Of the is one of the most common bigrams in the English language, and here it is.

of theは英語で最もよく使われるbigramsのひとつである。

Also, apostrophes are starting to be used for contractions, and we're seeing the origins of one-word interjections.

また、アポストロフィは短縮形にも使われるようになり、一語の間投詞の起源も見られるようになった。

Over a minute in, we see the square bracket format start showing up.

1分以上経過すると、角括弧のフォーマットが現れ始める。

In the data set, square brackets were used to denote which rapper was speaking at any given time.

データセットでは、どのラッパーがどの時間に話していたかを示すために角括弧が使われている。

So that means our baby AI's choice of rappers are Goohikomi, Moth, and Burstdogrelacy.

つまり、赤ちゃんAIが選ぶラッパーは、Goohikomi、Moth、Burstdogrelacyということになる。

I also want to quickly point out how much doing this relies on the memory I described earlier.

また、これを実行することが、先に説明したメモリにどれだけ依存しているかも、すぐに指摘しておきたい。

As Andre's article shows, certain neurons of the network have to be designated to fire only when you're inside the brackets, to remember that you have to close them at some point to avoid bracket imbalance.

アンドレの記事にあるように、ネットワークの特定のニューロンは、括弧の中にいるときだけ発火するように指定されなければならない。

Okay, this is the point in the video where I have to discuss swear words.

さて、このビデオでは汚い言葉について話さなければならない。

I know a good chunk of my audience is children, so typically I'd censor this out.

私の読者の大部分は子供たちなので、通常ならこれを検閲する。

However, given the nature of a rap data set, I don't think it's possible to accurately judge the neural network's performance if we were to do that.

しかし、ラップデータセットの性質を考えると、そんなことをしてもニューラルネットワークのパフォーマンスを正確に判断することはできないと思う。

Besides, I've included swears in my videos before, people just didn't notice.

それに、前にもビデオに悪態を入れたことがあるんだけど、みんな気づかなかっただけなんだ。

But that means, if you're a kid under legal swearing age, I'm kindly asking you to leave to preserve your precious ears.

でも、つまり、もしあなたが悪態をつく年齢に達していない子供なら、あなたの大切な耳を守るために、ご退場願いたい。

But if you won't leave, I'll have to scare you away.

でも、出て行かないのなら、怖がらせて追い払うしかない。

Ready?

準備はいいか？

With that being said, there is one word that's prevalent in raps that I don't think I'm in the position to say, and dang it, why is this glue melting?

とはいえ、ラップでよく使われる言葉で、私が言える立場ではないと思うものがある。

Okay, well I'm pretty sure we all know what word I'm talking about, so in the future I'm just going to replace all occurrences of that word with ninja.

さて、私が何の話をしているのか、みんなわかっていると思うので、今後、この単語が出てくるときはすべて忍者に置き換えていくことにしよう。

After two minutes, it's learned to consistently put two line breaks in between stanzas, and the common label chorus is starting to show up.

分後には、一貫してスタンザとスタンザの間に2行の改行を入れることを覚え、よくあるラベルのコーラスが目立ち始めている。

Correctly.

正しい。

Also, did you notice the mysterious line, That doesn't sound like a rap lyric.

また、「ラップの歌詞には聞こえない」という謎のセリフに気づきましたか？

Well, it's not.

まあ、そんなことはない。

It appeared 1172 times in the dataset as part of the header of every song that the webmaster transcribed.

これは、ウェブマスターが書き起こしたすべての曲のヘッダーの一部として、データセットに1172回出現した。

Now over the next 10 minutes, the lyrics gradually got better.

それから10分、歌詞は徐々に良くなっていった。

It learned more intricate grammar rules, like that motherfucking should be followed by a noun, but the improvements became less and less significant.

motherfuckingの後には名詞が続くべきだというような、より複雑な文法ルールを学んだが、その改善はあまり大きくはなかった。

So what you see around 10 minutes is about as good as it's gonna get.

だから、10分前後に見えるのは、その程度のものだ。

After all, I set the number of synapses to a constant 5 million, and there's only so much information you can fit in 5 million synapses.

結局のところ、私はシナプスの数を500万個と一定に設定したのだが、500万個のシナプスに収められる情報は限られている。

Anyway, I ran the training overnight and got it to produce this 600-line file.

とにかく、一晩トレーニングをして、この600行のファイルを作成した。

If you don't look at it too long, you could be convinced they're real lyrics.

あまり長く見なければ、本物の歌詞だと確信できるだろう。

Patterns shorter than a sentence are replicated pretty well, but anything longer is a bit iffy.

一文より短いパターンはよく再現されるが、それ以上はちょっと難しい。

There are a few one-liners that came out right, like, The lines that are a little wonky, like, Oh, I also like it when it switches into shrieking mode, but anyway, we can finally feed this into Google's text-to-speech to hear it rap once and for all.

とか、「ああ、叫び声モードに切り替わるのも好きだな」とか、ちょっとワンパターンなセリフもちゃんと出てくるのだが、ともあれ、これでやっとグーグルの音声合成ソフトに入力してラップを聞くことができる。

Hold on, that was actually pretty bad.

待ってくれ、あれはかなり悪かった。

The issue here is we gave our program no way to implement rhythm, which, in my opinion, is the most important element to making a rap flow.

ここで問題なのは、ラップの流れを作るために最も重要な要素であるリズムを、私たちのプログラムに導入する方法を与えなかったことだ。

So how do we implement this rhythm?

では、どうやってこのリズムを実行に移せばいいのか？

Well, this is the twist I mentioned earlier in the video.

さて、これが先ほどのビデオにあったひねりだ。

There's two methods.

方法は2つある。

Method one would be to manually time-stretch and time-squish syllables to match a pre-picked rhythm using some audio-editing software.

ひとつは、オーディオ編集ソフトを使って、あらかじめ選んだリズムに合わせて音節を手動でタイムストレッチしたりタイムシークエイトしたりする方法だ。

For this, I picked my brother's song, 3,000 Subbies, and I also used Melodyne to auto-tune each syllable to the right pitch so it's more of a song. oooooooooooo Although, that's not required for rap.

Melodyneで各音節を正しいピッチに自動チューニングして、より歌らしくしたんだ。

So, how does the final result actually sound?

では、最終的な結果はどうだったのだろうか？

I'll let you be the judge!

判断は君に任せるよ！

Looking like that break-in, them bitches bitches riding alone outside, why don't you get up now and guess what you think?

その慣らし運転のように、外で一人で乗っているクソ女ども、今すぐ起きて、何を考えているか当ててみたらどうだ？

This is a breakout!

これはブレイクアウトだ！

Now haters who have costs, must like what that's the pity!

今、コストを持っている嫌われ者は、それが哀れなものであることを好むに違いない！

Just ask a body!

死体に聞いてみればいい！

Take a lot of shit!

たくさんクソを食らえ！

Eat all the ninja!

忍者を全部食べる！

Wow I think this sounded pretty fun, and I'm impressed with Google's vocal range.

グーグルの声域の広さには感心したよ。

However, it took me two hours to time align everything, and the whole reason we used AI was to have a program to automatically generate our rap songs.

AIを使ったのは、ラップを自動生成するプログラムを作るためだった。

So we've missed the whole point.

だから、私たちは肝心なことを見逃している。

That means we should focus on method two, automatic, algorithmic time alignment.

つまり、私たちは2つ目の方法、自動的なアルゴリズムによるタイムアライメントに集中すべきだということだ。

How do we do that?

どうすればいいんだ？

Well firstly, notice that most rap background tracks are in the time signature 4-4 or some multiple of it.

まず、ほとんどのラップのバックトラックは4-4拍子かその倍数であることに注目してほしい。

Subdivisions of beats, as well as full stanzas, also come in powers of two.

拍の小区分も、完全なスタンザも、2の累乗で表される。

So all rhythms seem to depend closely on this exponential series.

つまり、すべてのリズムはこの指数級数に密接に依存しているようだ。

My first approach was to detect the beginning of each spoken syllable and quantize, or snap, that syllable to the nearest half beat.

私の最初のアプローチは、各音節の話し始めを検出し、その音節を最も近い半拍にクオンタイズ（スナップ）することだった。

That means syllables will sometimes fall on the beat, just like this.

つまり、このように音節が拍の上に来ることがあるのだ。

But even if it fell off the beat, we'd get cool syncopation, just like this, which is more groovy.

でも、たとえビートから外れても、このようにクールなシンコペーションが得られ、よりグルーヴィーになる。

Does this work?

これは使えるのか？

Actually, no.

実は違うんだ。

Because it turns out, detecting the beginning of syllables from waveforms is not so easy.

というのも、波形から音節の始まりを検出するのは、それほど簡単ではないことがわかったからだ。

Some sentences, like, come at me, bro, are super clear.

いくつかのセンテンス、例えば "Come at me, bro "は超クッキリしている。

But others, like, hallelujah, our auroras are real, are not so clear.

しかし、ハレルヤ、私たちのオーロラは本物だ、というような他のことは、それほど明確ではない。

And I definitely don't want to have to use phoneme extraction.

それに音素抽出は絶対に使いたくない。

It's too cumbersome.

面倒くさい。

So here's what I actually did.

そこで、私が実際にやったことはこうだ。

I cut corners.

私は手を抜いた。

Listening to lots of real rap, I realized the most important syllables to focus on were the first and last syllables of each line, since they anchor everything in place.

本物のラップをたくさん聴いているうちに、各セリフの最初と最後の音節が最も重要であることに気づいた。

The middle syllables can fall haphazardly, and the listener's brain will hopefully find some pattern in there to cling to.

中間音節は無造作に降ってくるものだが、聴き手の脳はそこに何らかのパターンを見出して、それにしがみつくことを期待する。

Fortunately, human brains are pretty good at finding patterns where there aren't any.

幸いなことに、人間の脳は何もないところからパターンを見つけ出すのが得意だ。

So, to find where the first syllable started, I analyzed where the audio amplitude first surpassed 0.2.

そこで、最初の音節がどこで始まったかを見つけるために、音声の振幅が最初に0.2を超えた場所を分析した。

And for the last syllable, I found when the audio amplitude last surpassed 0.2, and literally subtracted a fifth of a second from it.

そして最後の音節については、音声の振幅が最後に0.2を超えたタイミングを見つけ、そこから文字通り5分の1秒を引いた。

That's super janky, and it doesn't account for these factors, but it worked in general.

これは超ジャンキーで、これらの要素を考慮していないが、一般的にはうまくいった。

From here, I snapped those two landmarks to the nearest beat, time dilating or contracting as necessary.

ここから、私はこの2つの目印を、必要に応じて時間を伸ばしたり縮めたりしながら、最も近いビートにスナップした。

Now, if you squish audio the rudimentary way, you also affect its pitch, which I don't want.

さて、初歩的な方法でオーディオをつぶすと、ピッチにも影響が出る。

So, I instead used the phase vocoder of the Python library AudioTSM to edit timing without affecting pitch.

そこで、ピッチに影響を与えずにタイミングを編集するために、PythonライブラリAudioTSMのフェーズ・ヴォコーダーを使用した。

Now, instead of this, Just tell me I'm fuckin' right Weak, stathered, I please Mobs help All in line in them stars Holla We get this.

そんなことより、俺が正しいって言ってくれよ。

Just tell me I'm fuckin' right Weak, stathered, I please Mobs help All in line in them stars Holla That's pretty promising.

"俺は正しい "と言ってくれ 弱く、枯れ果て、お願いだ モブが助けてくれる 星の数だけ並んで ホラ これはかなり有望だ

We're almost at my final algorithm, but there's one final fix.

最終アルゴリズムまであと少しだが、最後の修正がある。

Big downbeats, which occur every 16 normal beats, are especially important.

特に重要なのは、通常の16拍ごとに起こる大きなダウンビートである。

Using our current method, Google's TTS will just run through them like this.

現在の方法では、グーグルのTTSはこのように通過するだけだ。

Not only is that clunky, it's just plain rude.

不便なだけでなく、失礼極まりない。

So, I added a rule that checks if the next book in line will otherwise run through the big downbeat, and if so, it will instead wait for that big downbeat to start before speaking.

そこで、次の本が大きなダウンビートを通過するかどうかをチェックし、通過する場合は、その大きなダウンビートが始まるのを待ってから発言するルールを追加した。

This is better, but we've also created awkward silences.

この方がいいのだが、気まずい沈黙も生まれてしまった。

So, to fix that, I introduced a second speaker.

そこで、それを解決するために、2人目のスピーカーを紹介した。

It's me.

私だ。

Google text-to-speech pitch down 30%.

グーグル音声合成のピッチが30％ダウン

When speaker 1 encounters an awkward silence, speaker 2 will fill in by echoing the last thing speaker 1 said, and vice versa.

話し手1が気まずい沈黙に遭遇すると、話し手2は話し手1が最後に発した言葉をエコーして補い、その逆も同様である。

What we get from this is much more natural.

そこから得られるものは、もっと自然なものだ。

Alright, so that's pretty much all I did for rhythm alignment, and it vastly improves the flow of our raps.

リズムを合わせるためにやったことはほとんどこれだけだ。

I think it's time for you to hear a full-blown song that this algorithm generated.

このアルゴリズムが生み出した本格的な曲を聴いてもらう時が来たようだ。

Are you ready to experience Computery's first single?

コンピュテリーのファーストシングルを体験する準備はできているだろうか？

I know I sure am.

確かにそうだ。

I'm in the later I can.

私はできる限り後に参加する。

I want to play the battle, so I don't know she won it this, and I don't fuck with X Rez I mog OS.

私はバトルをプレイしたいので、私は彼女がこのそれを獲得し、私はX Rez私はモグOSとファックしない知っている。

It's been all out on this booty beggle bove.

このブーティ・ベグル・ボーブにすべてを捧げている。

Chorus, Eminem.

コーラス、エミネム

Clean, Busta Rhymes.

クリーン、バスタ・ライムス

Gangsta, bitch, come cock wild.

ギャングスタ、ビッチ、ワイルドに来いよ。

Stop the movie, F5.

F5で映画を止める。

Dookie to that.

そのためにドゥーキーだ。

Four asterisks.

アスタリスク4つ。

That's four asterisks.

アスタリスクは4つだ。

Kept the naked party dead right.

裸のパーティーを死守した。

Remember why I need them in the eyes.

なぜ私が目を必要とするのか、その理由を思い出してほしい。

Spreadin' with the same other ninja. 137 wave is on the glinty.

同じ忍者とスプレッド。137の波がグリンティに

Shoot out to charge help up your crowd.

シュートを放ち、観客を助ける。

Out to charge help up your crowd.

観客を盛り上げるためにチャージに出る。

That ain't foul.

反則じゃない。

What the fuck?

何なんだ？

You're getting cheap.

安っぽくなったね。

Chorus, Busta Rhymes.

コーラス、バスタ・ライムス。

They say stick around, and today's a season.

今日はシーズンだ。

Busta Rhymes.

バスタ・ライムス

Hip-hop traded large digidel.

ヒップホップは大きなデジデルを取引した。