Name: 競争がAIのブレークスルーを妨げている理由 | ライオン・ジョーンズ | TED (How Competition Is Stifling AI Breakthroughs | Llion Jones | TED)
Uploaded: 2026-03-02T21:37:53.000Z
Duration: 16 min 1 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

様態の副詞

So as mentioned, I'm probably most well known as one of the Transformers authors.

ということで、私が最もよく知られているのは、おそらくTransformersの著者の一人としてでしょう。

Transformers are of course the T in ChatGPT and are the architectures that run most of the state of the art artificial intelligence.

Transformersは、もちろんChatGPTのTであり、ほとんどの最新技術の人工知能を動かしているアーキテクチャです。

程度の副詞

If I think back to that time when we were working on the Transformers, I remember it as a very organic, bottom up kind of project where the idea came from talking over lunch or scribbling randomly, whiteboards in the office.

Transformersに取り組んでいた頃を振り返ると、それは非常にオーガニックでボトムアップなプロジェクトだったと記憶しています。アイデアは、ランチでの会話や、オフィスでのホワイトボードへのランダムな落書きから生まれたのです。

And importantly, when we felt like we did actually have a good idea, we had the freedom to actually spend the time and go and work on it.

そして重要なのは、良いアイデアだと本当に思えたときには、実際に時間をかけて取り組む自由があったことです。

And even more importantly, we didn't have any pressure that was coming down from management.

さらに重要なのは、経営陣からのプレッシャーが一切なかったことです。

No pressure to work on any particular project, publish a number of papers, to push a certain number up.

特定のプロジェクトに取り組むプレッシャーも、多くの論文を発表するプレッシャーも、特定の数字を押し上げるプレッシャーもありませんでした。

So that's the image I want you to have in your mind, right?

なので、皆さんの心にこのイメージを持ってほしいのです。

That is the kind of environment that allowed the Transformer to come into existence.

それが、Transformerが誕生することを可能にした環境なのです。

An organic, open ended and with a lot of freedom to pursue the ideas that we thought were interesting and important.

オーガニックで、オープンエンドで、私たちが興味深く重要だと考えたアイデアを追求する自由がたくさんある環境です。

And my deep concern is that right now in the AI industry we do not have this kind of environment.

そして、私の深い懸念は、今AI業界にはこのような環境がないということです。

And I want to talk about why not and what can we do about it.

そして、なぜそのような環境がないのか、そしてそれに対して私たちに何ができるのかについてお話ししたいと思います。

So the main paradox that I see in artificial intelligence research or the industry in general right now is that despite the fact that there's never been so much interest and resources and money and talent, this has somehow caused a narrowing of the research that we're doing.

ですから、私が人工知能の研究、あるいは業界全体で今見ている主なパラドックスは、これほど多くの関心、リソース、資金、人材があるにもかかわらず、それが不思議なことに、私たちがやっている研究を狭めてしまったということです。

And to me, I think the reason is fairly obvious.

そして私にとって、その理由はかなり明白だと思います。

It's because the immense amount of pressure that comes with that, right?

それは、それによって生じる莫大なプレッシャーのためです。

Pressure from investors that are going to ask for a return on their investment, and

投資家からの投資利益を求めるプレッシャーや、

個人からのプレッシャーです。

Because this is such an overcrowded industry right now, where it's very difficult to stand out.

なぜなら、これは今、非常に混雑した業界であり、目立つことが非常に難しいからです。

And the researchers, they're really feeling this pressure, right?

そして研究者たちは、このプレッシャーを本当に感じています。

If you're doing, let's say, standard AI research right now, you kind of have to assume that there's maybe three or four other groups doing something very similar, or maybe exactly the same.

もし、標準的なAI研究をしているとしたら、おそらく3、4の他のグループが非常に似たこと、あるいは全く同じことをしていると仮定しなければならないでしょう。

So you have to spend the time checking to see if you've been scooped, to see if someone else has put your idea out there.

ですから、誰かに先を越されていないか、誰かがあなたのアイデアをすでに発表していないかを確認するために時間を費やす必要があるのです。

And even in academia, where you would hope you would have more freedom, there's pressure to publish and to have your papers published.

そして学術界でさえ、もっと自由があるはずだと期待するところでも、論文を発表し、掲載されることへのプレッシャーがあります。

So if you have an interesting idea that could create something very interesting, or you have kind of a mediocre idea that no, it'll probably get a paper and probably get accepted, the temptation is to go for the low hanging fruit.

ですから、何か非常に興味深いものを作り出せるような面白いアイデアがあったとしても、あるいは、まあ、おそらく論文になり、おそらく採択されるだろうという平凡なアイデアがあったとしても、手軽なものを選びたくなる誘惑があります。

So unfortunately, this pressure damages the science because people are Rushing out papers and it's reducing the amount of creativity that we have.

残念ながら、このプレッシャーは科学を損なっています。なぜなら、人々は論文を急いで発表しており、私たちの創造性が低下しているからです。

So I want to take an analogy from AI itself.

そこで、AI自体から類推したいと思います。

So when we're designing AI search algorithms, we have to trade off something called the exploration exploitation.

AIの検索アルゴリズムを設計する際、探索と活用のトレードオフというものがあります。

When you're searching for a solution you can either spend your time exploring or exploiting.

解決策を探しているとき、探索に時間を費やすか、活用に時間を費やすかのどちらかになります。

If you spend all your time exploring, then you will probably only find a large number of medical solutions.

もし探索にばかり時間を費やすと、おそらく多くの医学的な解決策しか見つからないでしょう。

If you spend your time just exploiting, then you might lose out on finding other alternative solutions that you might be able to exploit better and improve better.

もし活用ばかりに時間を費やすと、より良く活用し、より良く改善できるかもしれない他の代替的な解決策を見つける機会を失ってしまうかもしれません。

And we are almost certainly in that situation right now in the AI industry.

そして、AI業界では、ほぼ間違いなく今、その状況にあります。

So all I really want to ask you today is to consider just changing that balance a little bit, just turning up the dial and exploring more.

ですから、今日皆さんにお願いしたいのは、そのバランスを少し変えて、探求にもっと時間を割いてみることです。

So I actually remember what it was like just before the Transformers, and

実は、Transformersが登場する直前のことを覚えています。

I want to paint that picture for you as well.

その様子を皆さんに描いてみたいと思います。

Back then, my main memory was there were a lot of papers coming out and they were always permutating the current architecture, but

当時、私の主な記憶は、たくさんの論文が出てきて、常に現在のアーキテクチャを組み合わせているということでした。

which was recurrent neural networks at the time, just endlessly trying different things, different gates, different layers, mostly for incremental gains.

それは当時、リカレントニューラルネットワークでしたが、増分的な改善のために、ひたすら異なるもの、異なるゲート、異なるレイヤーを試していました。

And then after the transformer came out, all of that work that was spent on improving the recurrent neural network kind of felt a bit pointless.

そして、Transformerが登場した後、リカレントニューラルネットワークの改善に費やされたそのすべての作業が、少し無意味に感じられたのです。

それは少し厳しすぎるかもしれません。

しかし、このように考えてみてください。

How much time do you think those researchers would have spent trying to improve the recurrent neural network if they knew something like Transformers was around the corner?

もし研究者たちが、Transformerがすぐそこにあることを知っていたら、リカレントニューラルネットワークの改善にどれだけの時間を費やしたと思いますか？

It turned out we needed a longer conceptual leap.

より大きな概念的な飛躍が必要だったのです。

We needed to throw away recurrence completely.

リカレンスを完全に捨て去る必要がありました。

And again, I am worried that we're in that situation right now where we're just concentrating on one architecture and just commuting it and trying different things, where there might be a breakthrough just around the corner.

そしてまた、私たちは今、ある一つのアーキテクチャに集中し、それを微調整して色々なことを試している状況にあるのではないかと心配しています。もしかしたら、すぐそこにブレークスルーがあるかもしれません。

And if there is, then we should be acting like it.

もしそうなら、私たちはそのように行動すべきです。

The next breakthrough, almost by definition, has to come from this sort of open ended, much more speculative research.

次のブレークスルーは、定義上、このようなオープンエンドで、より投機的な研究から生まれるはずです。

And the only way to really hedge your bets against missing out on the next big thing is to invest in this kind of research.

そして、次の大きなものを見逃すリスクを本当に回避する唯一の方法は、このような研究に投資することです。

So if I came up here and did nothing but just moan about the current situation, I don't think it would be a great talk.

ですから、もし私がここに上がってきて、現状について不平不満を言うだけで何もせずにいたら、素晴らしい講演にはならなかったでしょう。

So I want to give you a couple of suggestions.

そこで、いくつか提案をしたいと思います。

First of all, in my company we champion having nature inspired.

まず、私の会社では、自然にインスパイアされたものを推進しています。

So there are still things, plenty of things that the human brain can do that current state of the art AI can't do.

人間の脳ができることの中には、現在の最新技術のAIにはまだできないことがたくさんあります。

So maybe if we take some inspiration from nature, we can get some of those properties, but

ですから、自然からインスピレーションを得ることで、そういった性質の一部を取り戻せるかもしれません。

それは私の個人的な考えですが。

You should follow what's interesting to you.

興味のあることを追求してください。

There's actually a quote I heard two weeks ago, and I thought, that's perfect.

2週間前に聞いた言葉で、完璧だと思ったものがあります。

I'm having that for my talk, and I think I'm stealing it from a guy called Brian Chung.

それを私の講演で使おうと思っています。ブライアン・チョンという方から拝借したものです。

You should only do research that wouldn't happen if you weren't working on it.

もしあなたが取り組まなければ起こらなかったような研究だけをすべきです。

これがそれを完璧に表していると思います。

And if we all did that, we wouldn't be stepping on each other's toes and we'd be exploring much more efficiently.

そして、もし私たち全員がそうすれば、お互いの邪魔をすることなく、もっと効率的に探求できるでしょう。

So I want to give you a concrete example.

それでは、具体的な例を挙げたいと思います。

There's a piece of research that we put out recently called the Continuous Thought Machine.

最近発表した「Continuous Thought Machine」という研究があります。

And all we did is we just took a little bit of inspiration from nature.

私たちは自然から少しだけインスピレーションを得ました。

So in the human brain, synchronization is very important, and

人間の脳では同期が非常に重要であり、

we try to add this kind of synchronization into artificial neural networks.

この種の同期を人工ニューラルネットワークに組み込もうとしています。

I remember the employee coming to me with the idea, and

従業員がそのアイデアを持って私のもとに来たのを覚えています。

I said, okay, work on it for a week and we'll see what happens.

そして私は、「よし、1週間やってみて、どうなるか見てみよう」と言いました。

That employee later confided in me that in his previous employment, or even in his academic position before that, that he probably would have gotten skepticism and told not to waste his time.

その従業員は後に私に打ち明けましたが、以前の職場や、それ以前の学術的な立場では、おそらく懐疑的な目で見られ、時間を無駄にするなと言われていたでしょう。

But after that week, he started to find much more interesting properties of this model, and

しかし、その1週間後、彼はこのモデルのさらに興味深い特性を見つけ始め、

プロジェクトは成功しました。

We actually announced that we got the spotlight at NeurIPS this year.

今回、NeurIPSで注目されたことを発表しました。

And I think there's a couple of reasons for that.

その理由にはいくつかあると思います。

I think there's a hunger for this kind of new and differentiated research.

このような新しく差別化された研究に対する飢えがあるのだと思います。

And more interestingly, at no point when we were working on this project did we have to worry about being scooped so we could take our time to do the science properly and run the benchmarks that we wanted to run.

そしてさらに興味深いことに、このプロジェクトに取り組んでいる間、一度もスクープされる心配をする必要がなかったので、時間をかけてきちんと科学を行い、実行したいベンチマークを実行することができました。

And I think that's the kind of research we should be doing.

そして、これが私たちがやるべき研究のあり方だと思います。

So hopefully from that, you can tell that I'm not just up here trying to make a talk that sounds good.

ですから、そこから、私がただ良い話をするためにここに立っているわけではないことがわかるはずです。

私はこれを本当に信じています。

I am putting my money where my mouth is, and

私は自分の言葉に責任を持ち、

I am creating this kind of environment, the kind of environment that allow transformers to come into existence at my company.

そして、私の会社でTransformersが生まれるような環境、そのような環境を作り出しています。

I'm not sure if I should tell you this, because it's a bit of an advantage that the company has right now, but

これは会社の現在の強みでもあるので、お伝えすべきか迷うところですが、

it's a really, really good way of getting talent.

人材を獲得するための、本当に本当に良い方法です。

Talented, intelligent people, ambitious people will naturally seek out this kind of environment with high autonomy.

才能があり、賢く、野心的な人々は、自然とこのような高い自律性のある環境を求めるものです。

And some of our best hires recently have been explicitly because of this reason.

そして、最近の最高の採用者の何人かは、まさにこの理由によるものです。

Oh, by the way, it works better than just money.

あ、ちなみに、これは単にお金よりも効果があるんですよ。

These superstars that are apparently being snapped up for literally a million dollars a year in some cases.

年俸100万ドルとも言われるようなスーパースターたちです。

Do you think that when they start their new position, they feel empowered to try their mad ideas, their more speculative ideas?

彼らは新しいポジションに就いたとき、自分のクレイジーなアイデアや、より投機的なアイデアを試す権限を与えられていると感じると思いますか？

Or do they feel immense pressure to prove their worth and will once again go for the low hanging fruit?

それとも、自分の価値を証明するための莫大なプレッシャーを感じ、再び手軽な成果に飛びつくのでしょうか？

ということで、もう一つの理由です。

I think that maybe we're not exploring quite as efficiently as we should be.

おそらく、私たちはもっと効率的に探求できていないのではないかと思います。

And that's because Transformers are too good.

それは、Transformersがあまりにも優れているからです。

I know, modesty, but seriously, I mean, what can I mean by that?

分かっています、謙遜ですが、真面目な話、どういう意味かというと？

What I mean is I think the punchline is going to be that when we look back at this point in AI history, the fact that the current technology is so powerful and flexible that it stopped us from looking for better, it makes sense, right?

私が言いたいのは、AIの歴史のこの時点を振り返ったとき、現在の技術が非常に強力で柔軟であるために、より良いものを探すことを妨げていたということが、理にかなっているということです。

If the current technology was worse, more people would be looking for better.

もし現在の技術が悪ければ、もっと多くの人がより良いものを探すでしょう。

So there's two points I would like to clarify.

そこで、明確にしたい点が2つあります。

First of all, I'm not saying that there isn't already plenty of very interesting research happening.

まず、すでに多くの非常に興味深い研究が行われていないと言っているわけではありません。

I'm just saying that given the amount of talent and resources that we have currently, we can afford to do a lot more.

ただ、現在持っている人材とリソースの量を考えると、もっと多くのことができるはずだということです。

I and several other many other researchers believe we're not done and we should be looking for better.

私や他の多くの研究者は、まだ終わっておらず、より良いものを探すべきだと信じています。

But I'm also not saying that we should throw away the current technology.

しかし、現在の技術を捨て去るべきだと言っているわけでもありません。