Name: データ分析のためにPandasを学ぶ？ここから始めましょう。 (Learning Pandas for Data Analysis? Start Here.)
Uploaded: 2025-05-26T18:37:41.000Z
Duration: 22 min 50 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

In this video, you're going to learn all the essential tricks to using pandas to do data manipulation and wrangling.

このビデオでは、pandasを使ってデータ操作やデータ整理を行うための基本的なトリックを学びます。

Pandas is one of the most popular Python libraries and the tool for doing data manipulation.

Pandasは最も人気のあるPythonライブラリの1つで、データ操作を行うためのツールです。

様態の副詞

And now with the ability to write Python code directly in Excel, pandas is reaching a whole new audience.

そして今、Excelで直接Pythonのコードを書けるようになったことで、pandasはまったく新しい利用者に広がっている。

With that comes a lot of hidden functionality that you wouldn't necessarily know about without fully diving into the documentation.

それに伴い、ドキュメントを完全に読み込まなければ必ずしも知ることができないような隠れた機能もたくさんある。

That's why I've created this video using my years of experience with this library to boil it down to just the functions that you need to know to get started.

そこで私は、このライブラリーの長年の経験を生かし、使い始めるために必要な機能だけに絞ったビデオを作成した。

So if you're a seasoned veteran or if you're just learning pandas for the first time, I suggest you watch this video all the way through and then go back and rewatch any parts that weren't clear to you the first time.

だから、もしあなたがベテランなら、あるいは初めてパンダを学ぶなら、このビデオを最後まで見てから、最初に見たときに理解できなかった部分をもう一度見直すことをお勧めする。

If you learn something new, make sure you like this video, write any comments down below and subscribe to the channel for more content.

もし何か新しいことを学んだなら、このビデオに「いいね！」を押して、下にコメントを書き、より多くのコンテンツのためにチャンネルを購読してください。

Of course, the first thing we need to do is import pandas in order to work with it.

もちろん、pandasを使うためには、まずpandasをインポートする必要がある。

I'm also printing out here my system info and the pandas version I'm using, which is the latest at the time of recording this video.

私のシステム情報と使用しているpandasのバージョン（このビデオを録画した時点の最新版）もここにプリントアウトしておきます。

In most of my videos, I get at least three or four comments asking about the interpreter that I'm using.

私のビデオのほとんどで、使っている通訳について尋ねるコメントが少なくとも3つか4つはある。

This IDE is called JupyterLab and I have a solarized dark theme on it.

このIDEはJupyterLabと呼ばれ、私はこのIDEにソーラー化されたダークテーマを使っている。

But I talk all about Jupyter notebooks and JupyterLab in a complete video that you should see a link for in the description.

しかし、JupyterノートブックとJupyterLabについては、説明文にリンクがある完全なビデオですべて話している。

With pandas, you're typically going to be working with a pandas data frame.

pandasでは通常、pandasデータフレームを扱うことになる。

You can think of a pandas data frame as being similar to a spreadsheet where you have a data set that contains columns and rows.

pandasのデータフレームは、列と行を含むデータセットがあるスプレッドシートに似ていると考えることができます。

While you can make a data frame from scratch using raw data in Python, the majority of the time you're going to be reading from either a file or a database.

Pythonで生データを使ってゼロからデータフレームを作ることもできるが、大半の場合はファイルかデータベースから読み込むことになる。

Luckily, pandas has a lot of different methods for reading in different file types.

幸運なことに、pandasにはさまざまなファイル・タイプを読み込むためのさまざまなメソッドがある。

All of these methods start with read and they include reading from a CSV file, Excel files, and many other file formats.

これらのメソッドはすべてreadで始まり、CSVファイル、Excelファイル、その他多くのファイルフォーマットからの読み込みが含まれる。

Each read method comes with its own parameters that can be set when reading in the files.

それぞれの読み込みメソッドには、ファイルを読み込む際に設定できる独自のパラメーターが付属している。

Typically, the default settings should work pretty well, but especially with read CSV, which is one of the most popular file formats, you have a lot of parameters to choose from.

通常、デフォルトの設定でも十分に機能するはずだが、特に最も一般的なファイル形式の一つであるCSVの読み込みでは、多くのパラメータから選択することができる。

This could almost be an entire video in itself, but some of the main reading parameters you may want to change is changing the delimiter, say if you had a tab-separated file, setting use columns if you only wanted to read in a subset of the columns, automatically parsing dates when reading in the file, and reading in large files in chunks.

これだけで1本のビデオになりそうだが、変更したい主な読み込みパラメーターとしては、例えばタブ区切りのファイルなら区切り文字の変更、カラムのサブセットだけを読み込みたい場合はカラムを使用する設定、ファイルを読み込む際の日付の自動解析、大きなファイルをチャンクに分けて読み込むなどがある。

Now in this tutorial, we're going to be working almost entirely with this flights dataset, which I have saved as a parquet file.

さて、このチュートリアルでは、パーケットファイルとして保存したフライトデータセットのほとんどを扱うことになる。

We'll read this in as df, which stands for data frame.

これをdf（データ・フレーム）として読み込む。

If we do a type on this df, you can see it is a pandas core data frame.

このdfをタイプしてみると、pandasのコア・データ・フレームであることがわかる。

And similar to reading, there's a lot of different ways you can write your data frame to files or to databases using the to SQL.

読み込みと同じように、SQLを使用してデータフレームをファイルやデータベースに書き込むことができます。

Most of these writing formats typically just take in the file path where you plan to write the file, and each writing method has its own set of parameters you can choose from.

これらの書き込みフォーマットのほとんどは、通常、ファイルを書き込む予定のファイル・パスを入力するだけで、それぞれの書き込み方法には、選択できる独自のパラメーター・セットがある。

For instance, when writing to a CSV, I often find myself setting index to faults so that the index is not saved when it doesn't have relevant information.

例えば、CSVに書き込むとき、インデックスをfaultに設定して、関連情報がないときはインデックスを保存しないようにすることがよくある。

Now, once you do have your data frame, there are many techniques that you may want to use to understand what the data looks like.

さて、データフレームができたら、データがどのようなものかを理解するために使いたいテクニックがたくさんある。

Head lets you see by default the first five rows of your data frame, depending on how many columns you have.

headでは、列数にもよりますが、デフォルトでデータフレームの最初の5行が表示されます。

It may hide the middle columns when displaying this, but you can override this by setting this option to display a larger maximum columns.

これを表示すると真ん中の列が隠れることがありますが、このオプションを設定して最大列を大きく表示することでこれを上書きすることができます。

And you can see here this dataset has a lot of columns which are now displayed.

このデータセットにはたくさんのカラムがあり、それが表示されているのがわかるだろう。

The head command can be given any number to show that number of columns.

headコマンドには任意の数値を指定し、その列数を表示させることができる。

There's also a tail command, which, as you might expect, will show the last five rows in the data frame that sample will pull a random subset of rows from your entire data set.

tailコマンドもあり、これは期待通り、データ・フレーム内の最後の5行を表示し、サンプルはデータ・セット全体からランダムな行のサブセットを取り出します。

You can provide it a number which will return that number of rows or a fraction which will provide that fraction of the entire data set because the results of that sample are random.

行数を返す数値や、データセット全体の何分の一かを返す分数を指定することができる。

It can be helpful to add a random state and this will help with reproducibility.

ランダムな状態を追加することは、再現性を高めるのに役立つ。

Since every data frame consists of columns and rows, we can access the columns directly by using dot columns.

すべてのデータフレームは列と行で構成されているので、ドット・カラムを使えば列に直接アクセスできる。

This can be helpful if you just want to see a list of all the columns in your data frame.

これは、データフレーム内のすべての列のリストを見たい場合に便利です。

Dot index will give you the index values in the data frame.

ドットインデックスはデータフレーム内のインデックス値を示す。

Data frames have a few methods built in that help you quickly get a top down view of what the data looks like.

データ・フレームには、データがどのようなものかを素早くトップダウンで見るのに役立つメソッドがいくつか組み込まれている。

Dot info will give you information about the data frame, including the size, listing each column and the data type of each column.

ドット情報は、データフレームのサイズ、各カラムのリスト、各カラムのデータ型などの情報を提供します。

And it's also really helpful at the bottom of dot info.

そして、ドットインフォの一番下も本当に役に立つ。

You see the memory usage of this data set.

このデータセットのメモリ使用量が表示される。

For a quicker summary, you can set verbose equals to false in dot info.

より素早く要約するには、dot infoでverboseをfalseに設定する。

The built in dot describe function can be run on any data frame to provide some descriptive statistics about the data, including the count values, mean, minimum, some percentiles, maximum and the standard deviation for any numeric column.

内蔵のdot describe関数は、任意のデータフレームに対して実行することができ、任意の数値列のカウント値、平均値、最小値、いくつかのパーセンタイル、最大値、標準偏差など、データに関するいくつかの記述統計量を提供します。

Describe can also handle non-numeric columns.

Describeは数値以外の列も扱うことができる。

For instance, running on the airline will show instead the count number of unique values, top occurring value and the frequency.

例えば、航空会社で実行すると、一意な値のカウント数、上位の出現値、頻度が代わりに表示される。

Many times you'll also find yourself wanting to just pull in the shape of the data frame and you can do that by just running dot shape.

また、データフレームの形状を取り込みたいと思うことも多いだろうが、その場合はdot shapeを実行すればよい。

Similarly, you can take the length of the data frame, which will give you the same thing as the first value in the shape, which is the number of rows.

同様に、データ・フレームの長さを取ることもでき、これはシェイプの最初の値（行数）と同じものが得られる。

Subsetting a data frame is something that you'll often find yourself doing, and you may want to either filter down to a subset of columns or a subset of rows to subset columns.

データ・フレームをサブセットすることはよくあることで、列のサブセットや行のサブセットから列のサブセットまでフィルタリングしたい場合があります。

You can simply provide a list within a bracket at the end of the data frame and that will subset just to those columns.

データフレーム末尾の括弧内にリストを指定するだけで、その列だけをサブセットすることができる。

So here we've subset it just to the flight date airline in the origin columns.

そこで、ここでは出発地の列のフライト日の航空会社だけにサブセットしています。

And if you remember from before, running DF dot columns will give us a list of the entire column names.

また、以前から覚えていると思うが、DFドット・カラムを実行すると、カラム名全体のリストが得られる。

So using this in combination with a slice, we could, for instance, take the first five columns and then subset our entire data frame just to those five or something like this would give us the last five columns.

つまり、これをスライスと組み合わせて使えば、たとえば最初の5列を取り出し、データフレーム全体をその5列だけにサブセットすることができる。

And depending on how comfortable you are with list comprehensions, it's pretty easy to filter down the columns based on certain criteria.

また、リスト内包の扱いに慣れているかにもよるが、特定の条件に基づいて列を絞り込むのはとても簡単だ。

For instance, here I'm filtering down just two columns that have the text time in their name, and then I can provide that to the data frame and return only those columns.

例えば、ここでは名前にtimeという文字が入っている2つの列だけをフィルタリングして、データ・フレームにそれを与えて、それらの列だけを返すことができる。

A less commonly used way of filtering columns is by using the select D types method, which will return a subset of the data frames columns based on the data type you provide it.

カラムをフィルタリングするあまり一般的でない方法は、select D types メソッドを使用することで、指定したデータ型に基づいてデータフレームのカラムのサブセットを返します。

Here you can see we've selected only data types in this data set that are integers.

ここでは、このデータセットの中で整数のデータ型だけを選択しているのがわかる。

One thing to note about selecting a single column is that if you provide just that column name, you will be returned with the series of that data column as seen here.

1つのカラムを選択する際の注意点として、カラム名だけを指定すると、ここにあるように、そのデータカラムの系列が返される。

If instead you prefer to have a data frame with a single column, you need to make sure to include double brackets around the column name.

その代わりに列が1つのデータ・フレームを使いたい場合は、列名を二重括弧で囲む必要がある。

And you can see here this is a data frame to filter a data frame based on its rows.

これは、データ・フレームをその行に基づいてフィルタリングするためのデータ・フレームである。

You'll typically be using either ILOC or LOC.

通常、ILOCかLOCのどちらかを使うことになる。

Both LOC and ILOC allow you to access elements in the data frame based on their location.

LOCもILOCも、データフレーム内の要素にその位置に基づいてアクセスすることができる。

However, ILOC uses the index location and LOC uses the names.

しかし、ILOCはインデックスの位置を使い、LOCは名前を使う。

Because of that, you'll find yourself using LOC a lot more than ILOC.

そのため、ILOCよりもLOCを使うことが多くなるだろう。

To show as an example, if we wanted to use ILOC to pull this value in the data frame, we'd be looking for row number one and column number three.

例として、ILOCを使ってデータ・フレームからこの値を取り出そうとすると、1行目と3列目を探すことになる。

インデックスはゼロから始まることを覚えておいてほしい。

So we formulate our location with one being the row and three being the column and we return that value.

そこで、1が行、3が列となるように位置を設定し、その値を返す。

So if we wanted to pull the first five rows and the first five columns, we could do it like this.

つまり、最初の5行と最初の5列を引き出したい場合は、次のようにする。

Using ILOC this way, we are subsetting both the columns and the rows, but we could also just provide a single value which will only filter to the row.

ILOCをこのように使用すると、列と行の両方をサブセットすることになりますが、行だけをフィルタリングする単一の値を提供することもできます。

ここで5列目にフィルターをかけている。

If we put this in a list, then we'll be filtering to row number five as a data frame.

これをリストに入れると、5行目をデータフレームとしてフィルタリングすることになる。

Similarly, if we wanted to filter only to a column, we can use a colon to state we'd like all rows.

同様に、ある列だけをフィルタリングしたい場合は、コロンを使ってすべての行をフィルタリングすることができる。

And here we're saying we just would like the first column.

そしてここでは、最初の列が欲しいだけだと言っている。

Putting this in a list returns the subset as a data frame.

これをリストに入れると、サブセットがデータ・フレームとして返される。

If we wanted to do this exact same subsetting using LOC, instead of using numerical values for their locations, we would actually provide in the name of the columns or rows that we would like to filter to.

これとまったく同じサブセットをLOCを使って行う場合、位置を数値で指定するのではなく、実際にフィルタをかけたい列や行の名前を指定することになる。

Here we have the airline and origin column selected.

ここでは、航空会社と出発地の列を選択しています。

One of the most powerful things of using the LOC method is that we're able to filter not only on names, but on Boolean expressions for our rows.

LOCメソッドの最も強力な点は、名前だけでなく、行のブール式でもフィルタリングできることだ。

How this works is by creating an expression on one or more columns.

この仕組みは、1つまたは複数の列に対して式を作成することで実現する。

そして、真か偽のシリーズを返す。

Here we're looking for where airline equals spirit airlines and then passing this expression into LOC.

ここでは、エアラインがスピリット・エアラインに等しい場所を探し、この式をLOCに渡している。

Then we'll filter our data frame down to only when this Boolean expression is true.

次に、このブール式が真であるときだけにデータフレームを絞り込む。

As you can see, the result only contains rows with spirit airlines.

ご覧の通り、結果にはスピリット・エアラインを含む行のみが含まれている。

We can combine Boolean expressions with ands or or statements to filter on multiple things or columns.

論理式をandやor文と組み合わせて、複数のものや列をフィルタリングすることができる。

Here we're filtering on the airline and also to a specific date.

ここでは、航空会社と特定の日付でフィルタリングしている。

One helpful tip to be aware of when creating Boolean expressions is that you can easily take the inverse of the expression by simply adding a tilde before it.

ブール式を作るときに知っておくと便利なのは、式の前にチルダを付けるだけで、簡単に式の逆数を取ることができるということだ。

And if we use LOC to filter to this expression, we've now returned all rows except for the rows with spirit airlines and this specific date.

LOCを使ってこの式にフィルタをかけると、スピリット・エアラインと特定の日付を持つ行を除くすべての行が返される。

An alternate way to query your data frame based on Boolean expressions is by using the dot query method.

ブール式に基づいてデータフレームをクエリする別の方法は、ドットクエリメソッドを使うことです。

The dot query method takes in a string representation of the Boolean expression you wish to filter on.

ドットクエリーメソッドは、フィルタリングしたいブール式の文字列表現を受け取ります。

As an example, I can filter for when the departure time is greater than 1130.

例として、出発時刻が1130を超える場合にフィルターをかけることができる。

Dot query can take in multiple expressions.

ドットクエリは複数の式を取り込むことができる。

As seen here, we're filtering on departure time and the origin.

このように、出発時刻と出発地でフィルターをかけている。

Any values in the query method are assumed to be columns, but you can represent strings by wrapping the value in quotes or your query expression can access an external variable by using the at symbol before the name in your query string.

クエリーメソッド内の値はすべてカラムであると仮定されますが、値を引用符で囲むことで文字列を表現したり、クエリー文字列の名前の前にatシンボルを使用することでクエリー式が外部変数にアクセスしたりすることができます。

Next, let's talk about summarizing data in the data frame.

次に、データフレーム内のデータの要約について説明しよう。

There are a number of summarization methods that can be run on either a single column or multiple columns.

単一の列または複数の列に対して実行できる要約方法が多数ある。

They include the mean value, the minimum value, the maximum value, standard deviation, variance, count, which will show you the number of values.

平均値、最小値、最大値、標準偏差、分散、数値の数を示すカウントなどがある。

You can also sum all the values in the column and dot quantile will give you the quantile values.

列のすべての値を合計することもでき、ドット分位点では分位値が得られます。

Quantileはリストを取ることもできる。

As you can see here, we have the 25th and 75th quantile for the departure time.

ここにあるように、出発時刻の25分位数と75分位数がある。

Any of these summarization methods can be run on multiple columns.

これらの要約方法はいずれも、複数の列に対して実行することができる。

This will return a pandas series where the index are the column names and the values are the summary values statistics.

これは、インデックスがカラム名、値が統計値の要約であるpandas系列を返します。

字幕リスト動画再生

データ分析のためにPandasを学ぶ？ここから始めましょう。 (Learning Pandas for Data Analysis? Start Here.)

specific

sort

entire

access