Name: ファインチューニングに代わる強力な選択肢 (The Powerful Alternative To Fine-Tuning)
Uploaded: 2026-02-28T21:38:20.000Z
Duration: 19 min 46 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

世界は本当にあっという間に変わっていますね。

様態の副詞

This is probably a little bit obvious, but

これは少し当たり前のことかもしれませんが、

程度の副詞

you should just try things and like every day do something with AI.

とにかく色々なことを試して、毎日AIで何かをしてみてください。

Last summer I took a weekend and used GPT5 to help me build an iPhone app.

去年の夏、週末を使ってGPT5でiPhoneアプリを開発しました。

10年ぶりくらいのことでした。

ええ、とても速くて簡単なんです。

それが、もう、ずいぶん前のことのように感じます。

あれからたった8ヶ月前くらいのことなのに。

今ではもっと速く、もっと簡単になりました。

Don't limit yourself like it's anything that you imagine.

想像しているようなものに、自分を限定しないでください。

You should just try to use AI and see how far you can get with it and you'll be making the world better.

AIを使ってみて、どこまでできるか試してみてください。そうすれば、世界はより良くなります。

Welcome to another episode of the Light Cone.

Light Cone のエピソードへようこそ。

Ian Fisher is the co founder and co CEO of Poetic, which is building recursively self improving AI reasoning harnesses for LLMs.

Ian Fisher は Poetic の共同創業者兼共同CEOです。Poetic は、LLM のために再帰的に自己改善する AI 推論ハーネスを構築しています。

Previously he spent a decade as a researcher at Google DeepMind and founded a mobile dev tools company through years ago.

以前は、Google DeepMind で 10 年間研究者として勤務し、4 年前にモバイル開発ツール会社を設立しました。

ここに来られてとても嬉しいです。

How's it different than rl, you know, how's it different than context engineering?

RL とはどう違うのですか？コンテキストエンジニアリングとはどう違うのですか？

At Poetic, what we're building is a recursively self improving system.

Poetic では、再帰的に自己改善するシステムを構築しています。

And so recursive self improvement is this, you know, kind of the holy grail of AI where the AI is making itself smarter.

再帰的自己改善とは、AI が自らをより賢くしていく、AI における聖杯のようなものです。

The core insight that we had is that we could do recursive self improvement far faster and cheaper than all of the other ways that people had been proposing to do this.

私たちが得た核心的な洞察は、他の人々が提案してきたどの方法よりも、はるかに速く、安価に再帰的自己改善ができるということです。

So obviously go into details about what that is, what our particular approach is.

そこで、それが何であるか、私たちの具体的なアプローチについて詳しく説明します。

But most of the approaches out there involve they require you to train a new LLM from scratch.

しかし、現在のアプローチのほとんどは、新しい LLM をゼロからトレーニングする必要があるというものです。

And training LLMs from scratch costs hundreds of millions of dollars and takes months of effort.

LLM をゼロからトレーニングするには、数億ドルかかり、数ヶ月の労力がかかります。

And then Anthropic or OpenAI will come along and just eat your lunch in the next model release.

そして、Anthropic や OpenAI が現れて、次のモデルリリースであなたのビジネスを奪ってしまうでしょう。

And of course anthropic and OpenAI and Google, they're exploring recursive self improvement, but

もちろん、Anthropic や OpenAI、Google も再帰的自己改善を研究していますが、

typically at that level of having the, you know, having to train a new model for every step of self improvement that they do, I mean that seems like actually the like defining thing that a startup really, really wants.

通常、彼らが自己改善の各ステップのために新しいモデルをトレーニングする必要があるというレベルでは、スタートアップが本当に望む定義的なもののように思えます。

Like I know that I want to take advantage of whatever the next model is, but

次のモデルを最大限に活用したいと思っていますが、

the second year in fine tuning land, I'm spending, you know, millions to hundreds of millions of dollars and then guess what, like I just lit it on fire because you know, the next version of the frontier model comes out and I'll never catch up.

ファインチューニングの世界で2年目に、数百万ドルから数億ドルを費やしたとします。するとどうなるでしょう？フロンティアモデルの次のバージョンが登場し、追いつけなくなるため、すべてを無駄にしたことになります。

Whereas like working with your systems means that I will always have the thing that is better than the Thing that's out of box and that's sort of like the holy grail.

一方、あなたのシステムを使えば、常に標準モデルよりも優れたものを持つことができ、それがまさに聖杯のようなものです。

We think that this is incredibly valuable to anybody who's building on top of large language models.

これは、大規模言語モデル上で何かを構築するすべての人にとって非常に価値があると考えています。

And we don't view the, you know, the frontier models as competitors.

そして、フロンティアモデルを競合とは考えていません。

They're, you know, they're the ones that were using the stilts, you know, building stilts to stand on top of.

彼らは、私たちが上に立つための「 stilts 」（支え）を使っているようなものです。

But if we didn't have that foundational layer, then, you know, poetic couldn't exist.

しかし、その基盤となるレイヤーがなければ、Poetic は存在し得ません。

Yeah, I mean, being the smartest model, you know, it's a game of inches actually.

ええ、つまり、最も賢いモデルであることは、実際にはわずかな差を競うゲームなのです。

そして、そのわずかな差が非常に重要になります。

実際、どうやって始めるんですか？

I mean, you've built something that basically any startup could use that it's sort of like stilts really.

つまり、どんなスタートアップでも使えるようなものを作られたわけですが、それはまさに「 stilts 」（支え）のようなものですよね。

We have built a system that can automatically generate systems for your particular problem that will always outperform the underlying language models and without kind of the massive expense.

私たちは、お客様の特定の問題に対して、基盤となる言語モデルを常に上回り、かつ莫大な費用なしにシステムを自動生成できるシステムを構築しました。

As you're saying about the bitter lesson where, you know, what would you, you have done without poetic?

ポエティックなしではどうなっていたか、という「苦い教訓」についておっしゃっていたように。

You probably would have said, okay, we're going to first collect a large data set, you know, like tens of thousands of examples for our particular problem that we're working on and we're going to fine tune the best model we can get our hands on.

おそらく、「まず、私たちが取り組んでいる特定の問題のために、数万例もの大規模なデータセットを収集し、手に入れられる最高のモデルをファインチューニングしよう」とおっしゃっていたでしょう。

Maybe that's one of the frontier models, or maybe it's an open weights model.

それはフロンティアモデルの1つかもしれませんし、オープンウェイトモデルかもしれません。

You're going to spend a lot of money on that fine tuning.

そのファインチューニングに多額のお金を費やすことになるでしょう。

コンピューティングコストが非常に高いためです。

And then at the end of it you have something that works better than the thing that you fine tuned on top of.

そして最終的には、ファインチューニングした元のモデルよりも優れたものが手に入ります。

But by then a new model has come out and it's better than the thing that you fine tuned, you fine tuned three years ago on top of GPT 3.5 or whatever.

しかし、その頃には新しいモデルが出てきて、3年前にGPT 3.5などでファインチューニングしたものよりも優れているのです。

And then GPT 404 comes out and it just blows you out of the water.

そしてGPT 404が出てきて、もう太刀打ちできなくなります。

And so are you going to do that again or are you going to go out of business?

では、また同じことをするのか、それとも廃業するのか？

そして、場合によっては後者です。

With poetic, what we end up giving you is people are calling these things harnesses now, but

Poeticでは、人々が今「ハーネス」と呼んでいるものを提供しています。

or a gentic system or whatever you want to call it that sits on top of one or more language models and it just performs better than them.

あるいは、1つ以上の言語モデルの上に配置されるジェネティックシステムなど、好きなように呼んでください。それがそれらよりも優れたパフォーマンスを発揮します。

And when the new model comes out, that same harness is perfectly compatible with it and you don't need to change anything to get an even bigger performance bump.

そして新しいモデルが出たとき、その同じハーネスはそれに完全に互換性があり、さらにパフォーマンスを向上させるために何も変更する必要はありません。

Additionally, we can continue to optimize for this new model, whatever the new model is that you want to use and make it even better, but

さらに、新しいモデル whatever you want to use をさらに最適化して、より良くすることができますが、

you don't lose out on hundreds of millions of dollars.

何億ドルもの損失を出すことはありません。

In fact, we do this so much more cheaply than fine tuning would cost as well.

実際、ファインチューニングにかかる費用よりもはるかに安く、これを実現しています。

And you've done this actually a bunch of times, right?

そして、実際にこれを何度も行っていますよね？

Like, I remember when you first came out with your paper in December of last year, you shot to the top of Arc AGI V2.

例えば、去年の12月に論文を発表された時、ARC AGI V2でトップに躍り出たのを覚えています。

And then you've done this a bunch of times for other benchmarks too.

そして、他のベンチマークでも何度もこれを実行していますね。

それはどのような感じでしたか？

ARC AGI v2 was this was kind of us coming out of stealth, letting people know that we could tackle these really hard problems.

ARC AGI v2は、私たちがステルスモードから抜け出し、これらの非常に難しい問題に取り組めることを人々に知らせるためのものでした。

And in particular we wanted to show that our system could generate these.

特に、私たちのシステムがこれらを生成できることを示したかったのです。

What we call, you know, we call our system like the Poetic Meta system can generate reasoning systems that are highly effective.

私たちが「Poetic Metaシステム」と呼んでいるものが、非常に効果的な推論システムを生成できることを示しました。

Gemini 3 Deepthink had just come out and they were, you know, really quite dramatically at the top of the leaderboard at 45%.

Gemini 3 Deepthinkが出たばかりで、リーダーボードのトップを45%という劇的なスコアで占めていました。

And two days later we released our results where we were showing that we could get a lot higher than that.

そして2日後、私たちはそれよりもはるかに高いスコアを達成できることを示す結果を発表しました。

So they come out with soda and then you come in right above them every single time.

だから彼らがソーダを出してくると、あなたは毎回そのすぐ上に現れるわけです。

That's what it's like to have stilts, you know, like whatever model comes out, you can be taller than that one with Poetic, which is like.

それがスティルトを持っているということなんです。どんなモデルが出てきても、Poeticを使えばそれよりも高くなることができるんです。

So the interesting thing is that we were half the cost of Gemini 3 Deepthink because we were building on top of Gemini 3 Pro, which is a much cheaper model.

面白いのは、Gemini 3 Proというはるかに安価なモデルをベースに構築していたため、Gemini 3 Deepthinkの半分のコストだったということです。

But we still got in the end a 9 percentage point improvement on the official verification.

それでも最終的に、公式検証で9パーセントポイントの改善を達成しました。

So they were at 45% and like 70 something dollars and we were at 54% and 32 dollars per problem.

彼らが45%で70ドル台だったのに対し、私たちは54%で問題あたり32ドルでした。

So recently you guys just announced some incredible results for Humanities Last Exam.

最近、皆さんはHumanities Last Examの信じられないような結果を発表しましたね。

それについてもう少し詳しく教えていただけますか？

Humanities Last Exam is a set of 2,500 really, really hard questions written by experts in many different domains.

Humanities Last Examは、様々な分野の専門家が作成した、非常に、非常に難しい2,500問の問題集です。

They're meant to be challenging even for PhDs in those fields.

これらの問題は、その分野の博士号取得者にとっても難しいように作られています。

AIは合格できませんでしたが、

we got to 55% which is almost 2 percentage points higher than the previous state of the art, which came out just last week from Anthropic with Claude Opus 4.6.

私たちは55%を達成しました。これは、わずか先週AnthropicからClaude Opus 4.6として発表された、以前の最先端技術よりも約2パーセントポイント高い結果です。

彼らは53.1%でしたが、私たちは55%でした。

And one thing that a Humanity Last exam doesn't publish is the cost of getting those results.

そして、Humanity Last Examで公表されていないことの一つに、その結果を得るためのコストがあります。

In your case, this run was done with less than around six figure.

あなたの場合は、この実行は6桁未満で行われました。

私たちはコストを公表していませんが、

I can say that the, the optimization costs us less than 100k.

最適化にかかった費用は10万ドル未満だったと言えます。

Which is impressive because Each of these big foundation modeled train runs are in the hundreds of millions of dollars.

これはすごいですね。なぜなら、これらの大規模な基盤モデルのトレーニング実行は、それぞれ数億ドルかかるからです。

And you guys, as a company, you're only seven people.

そして、皆さんは会社として、わずか7人なんですね。

そうです、ええ、ええ、7人です。

Seven research scientists and research engineers.

7人のリサーチサイエンティストとリサーチエンジニアです。

And I think the thing that's very interesting about your approach is sort of taking a very scientific approach to the EM behaviors that a lot of the best founders are doing with models.

そして、皆さんのアプローチで非常に興味深いのは、多くの優れた創業者たちがモデルで行っているEMの挙動に対して、非常に科学的なアプローチを取っている点だと思います。

I think a lot of founders that get very good results for agents, they treat the underlying model as a common layer that you can switch in between.

エージェントで非常に良い結果を出す多くの創業者たちは、基盤となるモデルを切り替え可能な共通レイヤーとして扱っていると思います。

And there's certain tasks, for example for GPT 5.2, like very hard to verify bugs get sent to that versus architecture that gets sent to Claude 4.6.

そして、例えばGPT5.2のような特定のタスクでは、非常に難しいバグの検証がそこに送られたり、Claude 4.6に送られるアーキテクチャがあったりします。