Some of these features are not offered by other API providers.

これらの機能の中には、他のAPIプロバイダーでは提供されていないものもある。

One such feature is code execution that enables the model to generate and run Python code and learn iteratively from the results until it arrives at its final output.

そのような機能のひとつがコード実行で、モデルがPythonコードを生成して実行し、最終的な出力に到達するまで、その結果から繰り返し学習することができる。

This powerful capability allows you to build applications that benefit from code-based reasoning, such as solving equations or processing text.

この強力な機能により、方程式を解いたり、テキストを処理するなど、コードベースの推論が役立つアプリケーションを構築できる。

Code execution is an added feature, very similar to function calling, but very different in how it works.

コード実行は追加された機能であり、関数呼び出しと非常によく似ているが、その仕組みは大きく異なる。

To show you why this can be an extremely powerful feature for developers, let's look at an example.

なぜこれが開発者にとって非常に強力な機能になるのかを示すために、例を見てみよう。

So here we have Cloud 3.5 Sonnet, which is one of the best LLMs available today.

クラウド3.5ソネットは、現在入手可能なLLMの中で最高のもののひとつである。

And I asked it, can you count how many times the letter R is present in the word strawberry?

ストロベリーという言葉の中にRという文字が何回出てくるか数えられる？

Just like all the other LLMs that I have tested, it gets this wrong.

私がテストした他のLLMと同じように、これは間違っている。

Then I asked it, can you write code to count how many times the letter R is present in the word strawberry?

では、ストロベリーという単語の中にRという文字が何回現れるかを数えるコードを書けるか？

Now this is a trivial code, and the code that it came up with is correct.

さて、これは些細なコードであり、このコードが導き出したコードは正しい。

However, since it doesn't really have the ability to execute the code, it will not be able to figure out whether the answer that it generates is right or wrong.

しかし、実際にはコードを実行する能力を持っていないので、生成された答えが正しいのか間違っているのかを把握することはできない。

So the output that it comes up with is the letter R appears two times in the word strawberry.

つまり、ストロベリーという単語の中にRという文字が2回出てくるという出力だ。

Again, the code is correct, but it's just guessing the output.

繰り返すが、コードは正しいが、出力を推測しているだけだ。

It has no ability to actually execute the code.

実際にコードを実行する能力はない。

Next, let's look at Gemini 1.5 Flash, which is a relatively weaker model when you compare it to Cloud 3.5 Sonnet.

次に、ジェミニ1.5フラッシュを見てみよう。クラウド3.5ソネットと比較すると、比較的弱いモデルである。

Now, when I asked the same question, it came up with the wrong answer, which is expected.

今、同じ質問をしたら、間違った答えが返ってきた。

Then I went to the advanced settings and enabled code execution.

それから詳細設定に行き、コード実行を有効にした。

So now it will be able to not only generate a code, but can actually execute that code.

つまり、コードを生成するだけでなく、そのコードを実際に実行できるようになるのだ。

So when I asked it to write code to do the same thing, it came up with a code that will be able to look for a certain letter, R in this case, and give us a count.

そこで、同じことをするコードを書くように頼んだところ、ある文字（この場合はR）を探してカウントを出すコードを思いついた。

And the response is the letter R appears three times in the word strawberry.

そしてその答えは、ストロベリーという言葉の中にRという文字が3回出てくるというものだった。

So since it has this ability to execute the code, it can give you correct answers for problems involving reasoning and code execution.

つまり、コードを実行する能力を持っているので、推論とコード実行を含む問題に対して正しい答えを出すことができるのだ。

So this can be an extremely powerful feature, especially if you're building agents with Gemini 1.5 Flash or Pro.

特にGemini 1.5 FlashまたはProでエージェントを構築している場合、これは非常に強力な機能になります。

Google has provided a number of different code examples.

グーグルはさまざまなコード例を提供している。

We are going to look at some of them in this video.

このビデオではそのいくつかを見ていこう。

But question is, what is the difference between code execution and normal function calling?

しかし問題は、コード実行と通常の関数呼び出しの違いは何なのかということだ。

So to answer this, I asked Claude to create this quick comparison.

そこで、クロードにこの簡単な比較表を作成してもらった。

Now, when it comes to function calling, that lets you interact with the real world using external APIs or tools.

さて、関数呼び出しに関しては、外部APIやツールを使って現実世界と対話することができる。

In that case, you will need to provide a list of tools that the model is going to have access to.

その場合、モデルが使用できるツールのリストを提供する必要がある。

But once the model picks a tool, you will actually need to run that.

しかし、モデルがツールを選んだら、実際にそれを実行する必要がある。

That means that you will need to set up your own development environment for that.

つまり、そのためには自分で開発環境を構築する必要がある。

So that requires a lot of setup.

だから、多くのセットアップが必要なんだ。

And sometimes for function calling, you will need to make multiple API calls in order to achieve a task.

また、関数の呼び出しでは、タスクを達成するために複数のAPIコールが必要になることもある。

And as I said, you need to provide the function as well.

そして申し上げたように、機能も提供する必要がある。

But the good thing is that you have a lot of flexibility in terms of this can be any language, any framework.

しかし、良い点は、どんな言語でも、どんなフレームワークでも使えるという点で、柔軟性があるということだ。

When it comes to code execution, the LLM itself decides whether it needs to write a code to perform a certain operation or not.

コードの実行に関しては、LLM自身が、ある操作を実行するためにコードを書く必要があるかどうかを判断する。

And it is able to run the code in the API backend.

そして、APIバックエンドのコードを実行することができる。

So you don't really have access to the environment in which it's running.

そのため、あなたは実際にそれが動いている環境にアクセスすることはできない。

It's a completely isolated environment, but it's fixed.

完全に隔離された環境だが、固定されている。

Now, it's much simpler to use.

今はもっとシンプルに使える。

And actually, Google recommends to use the code execution if you can perform a task using this feature.

そして実際、グーグルはこの機能を使ってタスクを実行できるのであれば、コード実行を使うことを推奨している。

Now, the great thing is it's a single API request.

さて、素晴らしいことに、これは単一のAPIリクエストである。

So irrespective of how complex your request is, the code execution is going to happen in the backend, and it can actually iterate on it.

つまり、どんなに複雑なリクエストであっても、コードの実行はバックエンドで行われ、実際に反復することができる。

And I'll show you some examples of how that iteration takes place.

そして、その反復がどのように行われるのか、いくつかの例をお見せしよう。

So the API writes and run the code.

だからAPIはコードを書いて実行する。

The problem is it's only limited to Python at the moment, and also very specific functions or libraries.

問題は、今のところPythonにしか対応していないことと、非常に特殊な関数やライブラリにしか対応していないことだ。

So at the moment, the environment in which it execute the codes has only access to NumPy and SymPy.

そのため、現時点では、コードを実行する環境はNumPyとSymPyにしかアクセスできない。

But I think for most of the cases, this is good enough.

しかし、ほとんどの場合はこれで十分だと思う。

Now, there are some limitations which I want to highlight before we look at some code examples.

さて、いくつかのコード例を見る前に、いくつかの制限を強調しておきたい。

So the model can only generate and execute code.

つまり、モデルはコードの生成と実行しかできない。

It cannot return artifacts like media files.

メディアファイルのようなアーティファクトを返すことはできない。

The other thing you need to keep in mind is the feature doesn't support FileIO or use cases that involves non-text output.

もうひとつ注意しなければならないのは、この機能はFileIOや非テキスト出力を含むユースケースをサポートしていないということだ。

So for example, data plots.

例えば、データプロット。

However, I have figured out a way in which you can generate plots using the code it generates.

しかし、このコードを使ってプロットを作成する方法を見つけた。

Basically, you run them locally, but I'll show you an example of that.

基本的にはローカルで実行するのだが、その例をお見せしよう。

And the code execution can run for a maximum of 30 seconds before timing out.

そして、コード実行はタイムアウトする前に最大30秒間実行できる。

So whatever task that you ask it to do, it needs to finish within 30 seconds.

そのため、どのようなタスクであれ、30秒以内に終わらせる必要がある。

That is a limitation, but I think in most of the cases for agentic workflows, this should be good enough.

しかし、エージェント的なワークフローでは、これで十分だと思う。

Now, in some cases, enabling code execution can lead to regression in other areas of the model output.

さて、場合によっては、コードの実行を可能にすることで、モデル出力の他の部分でリグレッションが発生する可能性がある。

So for example, if you're asking it to write story, that can have an impact because you're using a completely irrelevant feature, which is code execution in that case.

例えば、ストーリーを書くように要求している場合、全く関係のない機能を使っているため、その場合はコード実行となり、影響を及ぼす可能性がある。

Now, different models or different variations of the models have different abilities.

さて、モデルによって、あるいはモデルのバリエーションによって、能力は異なる。

So for example, Gemini 1.5 Pro is best performing model based on their internal testing, which is expected because this is a bigger model compared to Gemini 1.5 Flash.

例えば、ジェミニ1.5プロは、ジェミニ1.5フラッシュよりも大型のモデルであるため、社内テストでは最高のパフォーマンスを見せている。

Okay, so let's look at a few interesting code examples of how you can use this in your own workflows.

では、これを自分のワークフローでどのように使えるか、興味深いコード例を見てみよう。

Now, the first part of this notebook is based on the code provided by Google.

さて、このノートの最初の部分は、グーグルが提供するコードに基づいている。

And in the later part, I added some examples just to test different abilities of this feature.

そして後編では、この機能のさまざまな能力をテストするために、いくつかの例を追加した。

So we will first need to install the Google Generative AI client for Python.

そこでまず、Python用のGoogle Generative AIクライアントをインストールする必要がある。

And currently the one that we are using is version 0.7.1.

現在使用しているのはバージョン0.7.1だ。

Then you need to provide your API key.

次に、APIキーを入力する必要があります。

You can set this as environment variable.

これは環境変数として設定できる。

You can get that from Google AI Studio.

Google AI Studioから入手できる。

In my case, I just set this as a secret in my notebook, okay?

僕の場合は、これをノートに秘密として設定するだけだよ。

Then there's a code that will just give us a pretty nice looking output in well-formatted markdown.

それから、整った書式のマークダウンで見栄えの良い出力を得るコードもある。

Now, before showing you the power of code execution, let's look at a few prompts without code execution.

さて、コード実行の威力をお見せする前に、コード実行のないプロンプトをいくつか見てみましょう。

So here we are creating a client model and we are using the smaller 1.5 Flash, right?

ここではクライアントモデルを作成し、小さい1.5フラッシュを使用していますね？

So we create the model, then we call generate content function on it.

そこでモデルを作成し、それに対してコンテンツ生成関数を呼び出す。

The first prompt is, what's the sum of the sum of first 200 prime numbers?

最初のプロンプトは、最初の200個の素数の和は？

Make sure to get all 200, okay?

必ず200本全部取ってくれ。

Now, since it doesn't really have the ability to generate or execute the code, so it came up with a correct pseudocode or basically an algorithm using which you can actually do this yourself.

コードを生成したり実行したりする機能はないので、正しい擬似コード、つまり基本的には自分で実際にできるアルゴリズムを考え出した。

But we specifically asked it to generate those numbers and give us all of them.

しかし、私たちは具体的にその数字を出し、すべてを教えてくれるように頼んだ。

But since it cannot execute that code, so the answer, really correct, but not what we are looking for.

しかし、そのコードを実行することはできないので、答えは本当に正しいが、我々が求めているものではない。

Similarly, when I asked it to count the number of times the letter R appears in the word strawberry, again, it got this wrong.

同様に、ストロベリーという単語にRという文字が現れる回数を数えさせたところ、これも間違っていた。

But you can enable code execution and it's extremely simple or easy to do.

しかし、コード実行を可能にすることはできる。

All you need to do is in the list of tools, just provide code execution.

必要なのは、ツールのリストで、コード実行を提供することだけだ。

If you do that, the model will have access to this code execution feature.

そうすれば、モデルはこのコード実行機能にアクセスできるようになる。

So if we run the same prompt, which is looking for the sum of the sum of the first 200 prime numbers, then it can actually write code for it.

そこで、同じプロンプトを実行し、最初の200個の素数の和を探すと、実際にコードを書くことができる。

So here's just looking at internally what is happening is it generated a text output, then it executed some, like it came up with actually some code, executed that code and got the results.

つまり、内部的に何が起こっているかというと、テキスト出力を生成し、いくつかのコードを実行し、そのコードを実行し、結果を得ている。

Then it came up with some more text, executed the code again, or actually wrote the code and then executed the code and got the results and show us the text.

その後、さらにテキストが表示され、再度コードを実行し、あるいは実際にコードを書いてから実行し、結果を得てテキストを表示した。

So let me show you what the final output looks like and that will kind of explain what actually happened.

最終的なアウトプットがどのようなものかお見せしましょう。

So if we look at the results, it says I can calculate the sum of the first 200 prime numbers and the way it did was that it first wrote code to generate all the first 200 prime numbers.

その結果を見てみると、最初の200個の素数の和を計算することができる、と書いてある。

So here is the code that it's used to generate the prime numbers that we needed or requested, right?

これが、我々が必要とした、あるいは要求した素数を生成するために使われるコードだ。

So that is the first step in which it generated some text, then it generated some code and executed that code.

これが最初のステップで、テキストが生成され、コードが生成され、そのコードが実行される。

Then it generated some further text, which says, no, we have the first 200 prime numbers.

そして、さらにテキストが生成された。

Let's calculate the sum.

合計を計算してみよう。

So it calculated the sum here and here's the final output of the sum.

ここで合計を計算し、これが最終的な合計の出力だ。

So as you can see, it's actually doing things sequentially.

つまり、見ての通り、実際には順を追って物事を進めているのだ。

There are multiple steps in which it needs to go through and do different operations.

複数のステップを経て、さまざまなオペレーションを行う必要がある。

Everything is happening on the backend.

すべてはバックエンドで起きている。

All we get is the code that it came up with, what were the results and the final conclusion, which is pretty impressive.

私たちが得たのは、それが導き出したコードとその結果、そして最終的な結論だけだ。

I think it's a very neat implementation and can be extremely helpful.

とても素晴らしい実装で、非常に役に立つと思う。

Now, when you look at the strawberry example, again, it came up with the code and it's able to run that code and this time it got the answer right that there are three letter R present in the word strawberry.

さて、イチゴの例を見てみると、またしてもコードを思いつき、そのコードを実行することができる。

Now you can use the same functionality as a part of a chat session as well, which I think is going to be extremely helpful if you're creating agentic workflows.

同じ機能をチャット・セッションの一部としても使用できるようになったので、エージェントのワークフローを作成する場合に非常に役立つと思います。

So now we're going to create a chat client.

それでは、チャットクライアントを作ってみよう。

You can provide a prompt.

プロンプトを出すことができる。

So for example, in this case, the user is asking to do BOGO sort on this list of numbers.

例えば、この場合、ユーザーはこの数字のリストに対してBOGOソートをするよう求めている。

It's a sorting technique, so it comes up with the code that it will need to run and based on the code, it comes up with the final sorted list and then you get some output text as a part of it.

これは並べ替えのテクニックで、実行に必要なコードを考え出し、そのコードに基づいて最終的な並べ替えリストを作成し、その一部として出力テキストを得る。

But then since it's a chat session, you can actually ask it to do subsequent things.

しかし、チャットセッションなので、実際にその後のことを頼むことができる。

So now modify the code to count the number of iterations.

そこで、反復回数をカウントするようにコードを修正する。

How many iterations does it take?

何回繰り返すのですか？

So not only it has access to the previous code that it generated, because that is part of the chat history, but it can iterate on that code as well.

そのため、チャットの履歴の一部である前に生成したコードにアクセスできるだけでなく、そのコードを反復することもできる。

So if you are working on an agent and that is supposed to update its existing dataset or code base, I think this can be a very powerful tool to do that.

だから、もしあなたがエージェントに取り組んでいて、そのエージェントが既存のデータセットやコードベースを更新することになっているのなら、これはそのための非常に強力なツールになると思う。

It iterated on the previous code, basically updated that code with this new addition that we are requesting.

以前のコードを反復し、基本的には我々が要求しているこの新しい追加要素でコードを更新した。

And again, it gave us the sorted list, but it now also included the number of iterations it took.

そしてまた、ソートされたリストが表示されたが、今度は反復に要した回数も表示された。

Okay, let's look at a more interesting example where we're sending an image as a part of the prompt and asking it to write some code for us.

では、プロンプトの一部として画像を送信し、コードを書いてもらうという、もっと面白い例を見てみよう。

So this is an example of the classic Monty Hall problem.

つまり、これは古典的なモンティ・ホール問題の一例なのだ。

The prompt is, run a simulation of Monty Hall problem with 1000 trials.

モンティ・ホール問題を1000回の試行でシミュレーションしてください。

Now here's how it works as a reminder.

さて、ここで備忘録としてその仕組みを説明しよう。

So we're just telling it what Monty Hall is and how the problem is structured.

だから、モンティ・ホールとは何か、問題の構造はどうなっているのかを伝えるだけだ。

So you are on a game show with three doors.

あなたは3つのドアがあるゲームショーに出演している。

Behind one is a car and behind the others are goats.

一頭の後ろには車が、他の一頭の後ろにはヤギがいる。

You pick a door.

あなたはドアを選ぶ。

The host who knows what's behind the doors opens a different door to reveal a goat.

ドアの向こうに何があるか知っているホストが、別のドアを開けるとヤギが現れる。

Should you switch to the remaining unopened door?

残りの未開封のドアに切り替えるべきか？

That's kind of the classical problem that the system has to solve.

これはシステムが解決しなければならない古典的な問題のようなものだ。

Okay, so we basically give it the problem statement and then say the answer has always been a little difficult for me to understand when people solve it with math.

そう、基本的には問題文を与えて、その答えを数学で解かれると、私にはいつも少し理解しにくいと言うんだ。

So please run a simulation with Python to show me what the best strategy is.

だから、Pythonを使ってシミュレーションを行い、最適な戦略を教えてほしい。

And they also added a thank you, which is a nice way of interacting with LLMs.

そして、LLMとの交流の良い方法である感謝の言葉も添えてくれた。

Now it came up with a code which basically runs that simulation for us.

そして、そのシミュレーションを基本的に実行するコードを導き出した。

And it says that win percentages with switching is going to be 65.8%.

そして、スイッチングによる勝率は65.8％になると書かれている。

If you don't switch, the win percentage is just 31%.

切り替えなければ勝率はわずか31％。

And it also comes up with the explanation of how it works and why you should switch.

そして、その仕組みや乗り換えるべき理由についての説明も出てくる。

So pretty powerful because now you can provide these other artifacts, although it will not be able to directly use them, but still you can run or create code based on those artifacts and run those.

というのも、他のアーティファクトを提供することで、それを直接使用することはできないが、アーティファクトを実行したり、アーティファクトに基づいてコードを作成したり、それらを実行したりすることができるからだ。

Now it works with streaming as well.

これでストリーミングでも使えるようになった。

So I'm not going to go over on this a lot, but you can provide the same image plus the prompt and ask it to stream the responses.

同じ画像とプロンプトを提供し、その反応をストリームしてもらうことができる。

Okay, next to actually test some of its capabilities, I came up with a number of different examples.

さて、次に実際にその能力を試すために、いろいろな例を考えてみた。

So the first one is simple mathematics.

だから、最初のものは単純な数学だ。

So that's basically calculating the sum of different numbers.

つまり、基本的には異なる数字の合計を計算することになる。

It should be able to do that.

それができるはずだ。

Then there is this one on string manipulation, and we're going to look at them one by one.

それから、文字列の操作に関するもので、ひとつずつ見ていくことにしよう。

So given the string, hello world, that's welcome to Gemini API.

hello worldという文字列が与えられたら、それはGemini APIへようこそという意味だ。

It has to perform multiple tasks.

複数の仕事をこなさなければならない。

So convert the string to uppercase, then count the number of vowels, then reverse the string.

そこで、文字列を大文字に変換し、母音の数を数え、文字列を反転させる。

Next, I wanted it to do data analysis to generate numbers between 100 and 1,000, calculate the mean, median, and mode.

次に、100から1,000までの数値を生成し、平均値、中央値、最頻値を計算するデータ分析をさせたかった。

What's the minimum and maximum value?

最小値と最大値は？

And one thing I wanted to see was whether it's going to be able to generate plots for us or not.

そして私が見たかったことのひとつは、それが私たちのためにプロットを生み出すことができるかどうかということだった。

So I asked it to create a histogram as well.

そこで、ヒストグラムの作成も依頼した。

Here's a web scraping example.

これはウェブスクレイピングの例である。

So basically, it's supposed to do web scraping for us.

要するに、ウェブスクレイピングをやってくれるわけだ。

And the last one is to come up with a machine learning model.

そして最後の1つは、機械学習モデルを考え出すことだ。

So it has to generate synthetic data, and the features are square footage, number of bedrooms, and the year built.

そのため、合成データを生成する必要があり、その特徴は面積、ベッドルーム数、建築年である。

And the problem is to predict house prices based on that data.

そして問題は、そのデータに基づいて住宅価格を予測することである。

So it has to split the data into training and test set, create and train a linear regression model, evaluate the model's performance on the test set, and then use that model to predict the housing prices.

そのため、データをトレーニングセットとテストセットに分割し、線形回帰モデルを作成してトレーニングし、テストセットでモデルの性能を評価し、そのモデルを使って住宅価格を予測しなければならない。

So these are different problems that I want to see whether the Gemini Flash API can help me solve with this code execution or not.

これらの問題は、Gemini Flash APIがこのコード実行で解決できるかどうかを確認したい異なる問題である。

Now, for the simple mathematics, this was a straightforward task.

さて、単純な数学としては、これは簡単な作業だった。

We have seen a couple of examples before.

以前にもいくつか例を見たことがある。

So it was able to do that.

だから、それができた。

For string manipulation, again, even though it's a multi-step process, it was able to do it without any issues whatsoever.

文字列の操作に関しては、またしても多段階のプロセスであるにもかかわらず、何の問題もなく行うことができた。

Same is for data analysis.

データ分析も同じだ。

It had absolutely no problems in actually doing the data analysis.