Name: Pandas Pythonによる探索的データ分析 (Exploratory Data Analysis with Pandas Python)
Uploaded: 2025-05-26T18:34:18.000Z
Duration: 40 min 22 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

So, you've found a new dataset that you're excited to explore.

新しいデータセットを見つけたので、それを探索するのが楽しみだ。

程度の副詞

Or maybe you just want to get familiar with using Python for data analysis.

あるいは、データ分析にPythonを使いこなしたいだけかもしれない。

Well, in this video, I'll show you some of the essential skills that you'll need to know in order to perform data analysis with Python and Pandas.

このビデオでは、PythonとPandasを使ってデータ分析を行うために必要なスキルを紹介します。

Hi, my name is Rob, and I'm a data scientist and three-time Kaggle Grandmaster.

こんにちは、私の名前はロブです。データサイエンティストで、Kaggleのグランドマスターを3回務めています。

I've spent a lot of my time exploring new datasets on Kaggle.

私はKaggleで新しいデータセットを探索することに多くの時間を費やしてきた。

In this video, I'm going to walk through step-by-step the process I usually take when exploring a brand new dataset.

このビデオでは、私がいつも真新しいデータセットを探索するときに取るプロセスをステップ・バイ・ステップで説明する。

If you're completely new to using Python and Pandas, I suggest you first watch my tutorial on an introduction to Pandas.

PythonやPandasを使うのが全く初めての方は、まずPandas入門のチュートリアルをご覧になることをお勧めします。

In this video, I'll be working entirely in a Kaggle notebook.

このビデオでは、すべてKaggleノートブックで作業します。

So this means if you don't have Python already set up on your computer, you don't need to  Just click the link to the Kaggle notebook.

つまり、もしあなたのコンピューターにPythonがまだセットアップされていないなら Kaggleノートブックへのリンクをクリックするだけでいい。

You can fork or copy it, and then step through the code along with me or after this video is over.

それをフォークするかコピーして、僕と一緒に、あるいはこのビデオが終わった後に、コードを通してステップを踏むことができる。

Okay, so here we are in a Kaggle notebook.

さて、ここでKaggleのノートブックを見てみよう。

Kaggle notebook is very similar to a Jupyter notebook, just an environment where we can run code and write some descriptions around it in plain text.

Kaggleノートブックは、Jupyterノートブックに非常に似ており、コードを実行し、その周りにプレーンテキストで説明を書くことができる環境だ。

So in general, I always import these packages.

だから一般的に、私はいつもこれらのパッケージをインポートしている。

Of course, Pandas, and we're going to import that as pd.

もちろん、パンダはpdとしてインポートする。

Then we also have NumPy, which will import NumPy as np.

NumPyをnpとしてインポートする。

We're going to use a few different visualization libraries, matplotlib.

いくつかの異なる可視化ライブラリ、matplotlibを使うつもりだ。

そこで、matplotlib、pylabをplotとしてインポートする。

And then we're also going to import a package called seaborn, which is really helpful for doing exploratory plots with our data.

それから、seabornというパッケージもインポートします。これは、データを探索的にプロットするのにとても便利です。

And we're going to import seaborn as sns.

そして、シーボーンをsnsとしてインポートする。

Few other things we want to do before we get too far into this is we're going to use a style sheet for matplotlib and seaborn style plots.

この作業に入る前にやっておきたいことは、matplotlibとseabornスタイルのプロット用のスタイルシートを使うということだ。

So the way we do that is we do plot style use ggplot.

つまり、ggplotを使ってプロットするのだ。

Another setting we're going to add is we're going to expand the number of columns that are shown when we display a different data frame in our notebook.

もう1つの設定は、ノートブックに別のデータフレームを表示するときに表示される列の数を拡張することです。

だから、その方法はpd set optionだ。

And then we set the max columns to, let's say, 200 just to make sure we can see them all.

そして、すべての列が見えるように、最大列数を200に設定する。

Now I'm going to comment that part out now and show you why it's necessary later.

今はその部分をコメントアウトして、なぜそれが必要なのかを後でお見せするつもりだ。

では、これを実行してみよう。

And now next thing we need to do is import our data.

そして次にすることは、データをインポートすることだ。

And with Kaggle, we can go here to this tab on the side.

Kaggleの場合は、横のタブに移動します。

すでにデータセットを追加した。

What we're going to be looking at is a data set that I created with a bunch of information about over a thousand roller coasters.

これから見るのは、私が作成した1000以上のジェットコースターに関する情報を集めたデータセットだ。

It has information like the speed of the roller coaster, what material was used to make the roller coaster, and some cool things like that.

ジェットコースターのスピードとか、ジェットコースターの素材とか、そういうクールな情報が載っている。

But if you're starting in a notebook and want to look at a different data set, you can always click on add data and look through a bunch of these data sets that already exist or upload your own data.

しかし、ノートブックから始めて別のデータセットを見たい場合は、いつでもデータの追加をクリックして、すでに存在するデータセットの束を調べたり、自分のデータをアップロードしたりすることができる。

And then, of course, if you're working on a notebook on your own machine, you can just reference whatever CSV file you have.

もちろん、自分のマシンのノートブックで作業している場合は、手持ちのCSVファイルを参照すればいい。

So I'm going to import our data and just call it df for data frame.

データをインポートして、データ・フレームをdfと呼ぶことにする。

And we're going to use read CSV to read in the data.

そして、データを読み込むためにCSVを読み込む。

So I know this is in the input folder, and it's called CoasterDB.

これは入力フォルダにあり、CoasterDBと呼ばれている。

So that we've read in very quickly, and we have now a data frame we can work with.

これで、非常に素早く読み込むことができ、作業可能なデータ・フレームができた。

So the next step is to do some basic data understanding of our data.

そこで次のステップは、データの基本的な理解をすることだ。

So very simple stuff, but the first thing I like to do is do a df.shape.

とてもシンプルなことだが、私が最初にやりたいのはdf.shapeだ。

では、これは何を物語っているのだろうか？

This tells us the shape of the data frame or the data that we just loaded in.

これは、データ・フレームや今読み込んだデータの形状を教えてくれる。

In this data set, we have 187 rows and 56 columns of data.

このデータセットには、187行、56列のデータがある。

これに対してheadコマンドを実行することもできる。

これは最初の5行を示している。

We could change the number of rows we want to see.

表示する行数を変更することもできる。

Let's say if we want to see the first 20.

例えば、最初の20試合を見たいとしよう。

And now if you notice here, when we do this head command, and let's put it back at five, what we see here is it shows us all the different columns, but then at a certain point, we see just dots, and then it picks up later with the last bit of columns.

ここで、headコマンドを実行し、5つに戻すと、すべての列が表示されるが、ある時点で点だけが表示され、その後、最後の列が表示される。

This is because pandas by default does not show you every single column in the data frame.

これは、pandasのデフォルトでは、データフレーム内のすべての列が表示されないからである。

But for exploration, I find it easier to show them all.

でも、探検のためには、すべてを見せる方が簡単だと思う。

So going back up here to our PD set option, we're going to make this 200, which is plenty enough to see every column in our data set.

ここでPDセット・オプションに戻り、データセットのすべての列を見るのに十分な200にする。

And then rerun this head command, and we'll see all of the different columns in the data set.

そして、このheadコマンドを再実行すると、データセットのすべてのカラムが表示される。

Now, another thing we want to do is just list out all the columns.

さて、もうひとつやりたいことは、すべての列をリストアップすることだ。

Since this data frame has a lot of columns, we can just do df.columns to see them all.

このデータ・フレームにはたくさんの列があるので、df.columnsを実行すればすべての列を見ることができる。

And now we've seen all the columns listed.

そして今、リストアップされたすべてのコラムを見た。

Eventually, if we want to subset our data set, we can remove some of these columns, and I'm going to show you how to do that later.

最終的に、データセットをサブセット化したい場合は、これらの列のいくつかを削除することができる。

So the next thing we might want to do is, for each of these columns, to find out actually what D type that pandas has decided it is.

そこで次にやりたいことは、これらのカラムのそれぞれについて、パンダが決定したD型を実際に調べることだ。

So if you remember from the earlier tutorial, in a pandas data frame, every column is actually a series, and every pandas series has a type.

先ほどのチュートリアルを思い出していただきたいのですが、pandasのデータフレームでは、すべてのカラムは実際には系列であり、pandasの系列はすべて型を持っています。

So if we type in df.dtypes, we can actually see, for each of these columns, what the type of column it is.

したがって、df.dtypesと入力すれば、それぞれのカラムについて、そのカラムがどのようなタイプであるかを実際に見ることができる。

So we have a lot of objects here, which are just string-type columns, and then we have some that are float values.

ここには、文字列型のカラムと、浮動小数点型のカラムがある。

Actually, down here at the bottom, I created this data set, and I added some of the numeric values of features, like the height of the roller coaster, the speed in miles per hour here to the end.

実はこの下の方に、このデータセットを作成し、ジェットコースターの高さ、時速何マイルといった特徴の数値を最後に追加しました。

Okay, so one of the last things I want to show you here is just the describe function.

さて、最後に紹介するのはdescribe機能だ。

So if you type in df.describe, there we go, what it'll show us is some information and statistics about the numeric data in our data set.

df.describeと入力すると、データセットの数値データに関する情報と統計が表示される。

So we can see here the height of the roller coasters.

つまり、ジェットコースターの高さをここで見ることができる。

We have a count of 171 values, a mean value of 101 feet, and all this information that gives us a good understanding for the data before we dive into it any further.

171の数値、101フィートという平均値、これらすべての情報は、これ以上深く掘り下げる前に、データをよく理解するためのものである。

Okay, so now it's time to move on to the second step, which is data preparation.

さて、それでは第二段階、データの準備に移ろう。

We have a general understanding of the columns in our data and how many rows we have, but we want to do some cleaning before we actually get into analysis.

データの列と行の数は大体理解できたが、実際に分析に入る前に、いくつかのクリーニングを行いたい。

And it's very important that we first drop any of the columns or rows that we don't want to keep before we continue on, or else we might waste time cleaning up columns that we won't end up using.

そうしないと、最終的に使用しない列の整理に無駄な時間を費やすことになりかねない。

So let's run a df.head again on our data set to remember what sort of columns we have.

では、どのようなカラムがあるのかを覚えておくために、データセットに対してもう一度df.headを実行してみよう。

One thing to note about this data set is we actually have some columns that have values that are string versions, like speed and length.

このデータセットで注意しなければならないのは、スピードや長さのように文字列バージョンの値を持つカラムがあることだ。

And we also have similar columns that I have created when I created this data set over to the right here that have the numeric version of those.

また、このデータセットを作成したときに作成した同様のカラムが、この右側にある。

So it's stripped out all the text of mile per hour and converted everything into the same unit here, which is miles per hour.

つまり、時速マイルというテキストはすべて取り除かれ、同じ単位である時速マイルに変換されているのだ。

Gフォースやインバージョンも同じだ。

So what we're going to want to do is we're going to want to subset this data set just to the columns we want to keep.

そこで、このデータセットを保存したい列だけにサブセットすることにする。

And there are two ways that I like to do this.

So if we run df.columns again, we can pull in all the columns and we can actually just subset by copying this list of columns here.

もう一度df.columnsを実行すれば、すべてのカラムを取り込むことができ、実際にこのカラムのリストをコピーしてサブセットすることができる。

And then with two brackets, we put in the list of columns, and that will show us all of the columns again.

そして、2つの括弧で、列のリストを入れると、再びすべての列が表示される。

ほとんど同じデータセットだ。

But now we can start removing column by column what we've decided we don't want to keep.

しかしこれで、残したくないと決めたものを列ごとに削除し始めることができる。

So I already know I want to keep the roller coaster name.

だから、ジェットコースターの名前を残したいというのはもうわかっている。

So I'm just commenting out the lines in this list that we don't want to keep.

だから、このリストの中で残したくない行をコメントアウトしているだけだ。

And this makes it easy to keep track of what we've actually dropped.

そして、これによって実際に落としたものを簡単に把握することができる。

Height restriction, I don't think we want to keep.

高さ制限は、残したくないと思う。

Inversions, cost, trains, park section, all of these things may be interesting to look at later.

逆転劇、コスト、列車、パークセクション、これらすべてを後で見てみると面白いかもしれない。

But at this time, we're not going to take a look at them.

しかし、現時点では、それらを見るつもりはない。

But we do want to keep some of this information at the end.

しかし、この情報の一部は最後に残しておきたい。

So year introduced, latitude, longitude, I think we want to keep the type of material used here.

だから、紹介された年、緯度、経度、ここで使われている素材の種類を維持したいと思う。

All right, so here for speed, I think we just want to keep the miles per hour.

よし、ではスピードは時速何マイルにしよう。

For the height, we just want to keep the value in feet.

高さについては、フィート単位の値を維持したい。

And yeah, this looks like a good subset of the data that we want to keep.

そして、これは我々が保持したいデータの良いサブセットのようだ。

Actually, let's add in location and status.

実際に、場所とステータスを加えてみよう。

Now, if I run this cell, I see that we actually have a smaller data set.

さて、このセルを実行すると、実際にはデータセットが小さくなっていることがわかる。

Our columns have been reduced just to the columns that we want to keep.

私たちのコラムは、残したいコラムだけに絞られた。

We have some information though we will be able to work with.

私たちはいくつかの情報を持っている。

Now, there's a second way we can deal with subsetting our data sets columns, and that's by using the drop command.

さて、データセットのカラムをサブセットする2つ目の方法がある。

字幕リスト動画再生

Pandas Pythonによる探索的データ分析 (Exploratory Data Analysis with Pandas Python)

stuff

material

multiple

average