This is Sudhini from South Bay, California and welcome to my channel where we talk about everything AI.

カリフォルニア州サウスベイのスディニです。AIについて何でも話す私のチャンネルへようこそ。

And today we are going to be covering a new annotation tool which is scalable and super useful for video images.

そして今日は、スケーラブルでビデオ画像に超便利な新しい注釈ツールを取り上げます。

So if you have videos of lung CT, MRIs or even if you have videos of outdoor images or indoor images that you need to be annotated, then this is the software for you.

ですから、肺CTやMRIのビデオをお持ちの場合、あるいは屋外画像や屋内画像のビデオに注釈を付ける必要がある場合にも、このソフトウェアは最適です。

The software is called Scalable and I will be walking you through all of the steps right from installation to the requirements and how to annotate stand-alone images, biomedical images to video tracks which is autonomous video tracks.

このソフトウェアはScalableと呼ばれるもので、インストールから必要条件、スタンドアロン画像、バイオメディカル画像、そして自律ビデオトラックであるビデオトラックに注釈を付ける方法まで、すべてのステップを順を追って説明します。

So if you are an annotator who wants to gain some extra bucks doing annotations at home for some companies or if you're a startup or even an engineer who wants to make sure that you have some group of data that you want to quickly get annotated but you want to ensure quality in this whole process, then this video is meant only for you.

もしあなたがアノテーターで、ある企業のために自宅でアノテーションをして小銭を稼ぎたいと思っているなら、あるいはスタートアップ企業やエンジニアで、素早くアノテーションしたいデータ・グループがあるけれど、このプロセス全体の品質を確保したいと思っているなら、このビデオはそんなあなたのためにある。

So keep watching and let's get straight to it.

では、本題に入りましょう。

So this is the software that we are going to be reviewing today.

というわけで、今日レビューするのはこのソフトだ。

It's called Scalable and it's by Berkeley's Deep Drive, so BDD.

これはスケーラブルと呼ばれ、バークレーのディープ・ドライブ、つまりBDDによるものだ。

All of the documentation that we are going to be following is in this particular guide and I'm going to walk you through each and every one of these steps specifically for my Windows-based system because these directions are mainly for a Linux system.

これから説明するドキュメントはすべてこの特別なガイドの中にあるもので、Windowsベースのシステムでの手順をひとつひとつ説明していこうと思う。

I will show you the changes that need to be done in order to run it on a Windows system.

Windowsシステム上で実行するために必要な変更をお見せしよう。

So far, I have done another review on another annotator which is called LabelMe and I'm going to be putting the link right up here.

今のところ、LabelMeと呼ばれる別のアノテーターについて別のレビューを行ったので、ここにリンクを貼るつもりだ。

So I wanted to show you what the differences are between LabelMe and Scalable before I got to the review.

そこで、レビューに入る前にLabelMeとScalableの違いをお見せしたいと思います。

So LabelMe, as you have seen before, it supports single-user annotation and so it will work for single-user situations.

LabelMeはシングルユーザー注釈をサポートしているので、シングルユーザーでも使用できます。

Then it also supports JSON to image label conversion.

また、JSONから画像ラベルへの変換もサポートしている。

So if you have JSON format data, you can also convert that into images, which is typically required for semantic segmentation or unit sort of algorithms.

つまり、JSON形式のデータがあれば、それを画像に変換することもできる。これは通常、セマンティック・セグメンテーションやユニットのようなアルゴリズムに必要なものだ。

You can quickly generate images out of that.

そこから素早く画像を生成することができる。

The installation requirements are pretty on the low side, so it's very easy to install for a standalone computer.

インストール要件はかなり低い方なので、スタンドアロン・コンピューターへのインストールは非常に簡単だ。

It is definitely very useful for small-scale projects.

小規模なプロジェクトには間違いなく役立つ。

I have met a lot of developers who are essentially using this for their day-to-day project works.

私は、日々のプロジェクトでこれを使用している多くの開発者に会ってきた。

And it is preferable for single images.

また、シングル画像に適している。

So single images means if you have snapshots of maybe your retinal images, if you have snapshots from different patients, then this is very preferable for those sort of situations.

つまり単一画像とは、網膜画像のスナップショットや異なる患者のスナップショットがある場合、そのような状況には非常に適しているということです。

Now let's look at what Scalable can support.

では、スケーラブルが何をサポートできるかを見てみよう。

Scalable now uses multi-user annotation.

スケーラブルはマルチユーザーアノテーションを使用するようになった。

So if you have, let's say, a huge task, so 900 or 1,000 samples, and all of them belong to particular videos, what it will do is it will automatically create tasks for multi-users, so 3, 4, 5 users, and then each and every one of the vendors will have their own link to go and annotate.

例えば、900や1,000の膨大なサンプルがあり、そのすべてが特定のビデオに属している場合、自動的に3、4、5人のマルチユーザー用のタスクが作成され、各ベンダーが自分のリンクを持ち、アノテーションを行うことができます。

So now you can actually scale your work from one annotator to multi-annotators.

そのため、1人のアノテーターから複数のアノテーターに作業を拡張できるようになった。

You do not require, so in this case, the outcome is actually the output is in JSON format.

この場合、出力はJSON形式である。

So you cannot really generate images out of that.

だから、そこから画像を生成することはできない。

So in order for you to generate, again, images out of the JSON, you will again have to go back to LabelMe.

そのため、JSONから画像を生成するには、再びLabelMeに戻る必要があります。

The third and the most key change in this case, it's actually that Scalable has a Docker container already created.

この場合の3つ目の、そして最も重要な変更点は、実はScalableがすでにDockerコンテナを作成しているということだ。

So it has a Docker image that you are going to be pulling from Docker Hub, and that is the one that is going to be running.

Docker Hubから引っ張ってくるDockerイメージがあり、それが実行される。

So essentially, you do not require any installation requirements on your system.

そのため、基本的にシステムにインストールする必要はない。

If you have Conda, if you have the Anaconda environment, and if you have Docker set up, it will do everything else.

Condaがあり、Anacondaの環境があり、Dockerがセットアップされていれば、あとはすべてやってくれる。

And this is the very latest trend in which most of the applications are going towards.

そしてこれは、ほとんどのアプリケーションが向かっている最新のトレンドである。

So you don't really have a list of requirements that you need to import or all the functions or the libraries you need to import.

だから、インポートする必要のある要件のリストや、インポートする必要のあるすべての関数やライブラリを持っているわけではない。

You just get the Docker image down on your computer and you just run that.

Dockerイメージをコンピュータにダウンロードし、それを実行するだけだ。

So it's very useful and it's very easy to distribute once your Docker container, all the requirements are satisfied.

だからとても便利だし、Dockerコンテナですべての要件を満たせば配布も簡単だ。

It is very easy for scale up, like I mentioned.

先ほど言ったように、スケールアップはとても簡単だ。

So once you know how to run your Docker container, you can ask four or five people to do the same process.

そのため、Dockerコンテナの実行方法が分かれば、4、5人に同じ処理を頼むことができる。

And it is very easy to replicate.

そして、それを再現するのはとても簡単だ。

And this is highly preferable for video tracks.

そして、これはビデオ・トラックにとって非常に好ましい。

So if you're doing video annotation where you have the same objects being followed across different image frames, then that's where Scalable is the most useful.

つまり、異なる画像フレームにまたがって同じオブジェクトを追跡するようなビデオアノテーションを行う場合、スケーラブルが最も役立つということだ。

So let's get straight to the installation and the annotation processes now.

では、さっそくインストールとアノテーションの作業に取りかかろう。

All right.

分かった。

So in order to install this particular annotation software, which is called Scalable.ai, there are a few things that we have to make sure that your system has first.

Scalable.aiと呼ばれるこのアノテーション・ソフトウェアをインストールするには、まずシステムに必要なものがいくつかある。

First off, you need Docker.

まず最初に、Dockerが必要だ。

And if you're using a Windows system, which I am, I have Anaconda on top of that.

そして、もしあなたがWindowsシステムを使っているなら、私はその上にAnacondaを持っている。

So this would be the command in order to install Docker.

つまり、これがDockerをインストールするためのコマンドとなる。

Now, I will be enlisting all of these commands in the description box below so that you can apply it for your own case.

では、これらのコマンドをすべて以下の説明欄に列挙するので、自分のケースに当てはめてみてほしい。

So, you know, first of all, let's say that the Docker has been installed.

ではまず、Dockerがインストールされたとしよう。

The next thing you need a Docker desktop for your Windows, especially if you have a Windows system.

次に必要なのは、Windows用のDockerデスクトップだ。

So this will take you to this particular page.

このページが表示されます。

You install the executable.

実行ファイルをインストールする。

And once the executable is installed, especially if you have a Windows machine, it will ask you to also enable the WSL backend, which will ensure that you can run not just in Windows, but also Linux containers.

そして、実行ファイルがインストールされると、特にWindowsマシンを使っている場合は、WSLバックエンドを有効にするよう要求される。

So this is very important for you to do.

だから、これはとても重要なことなんだ。

Once all of this is done, you should then be able to launch your Docker desktop.

これが完了したら、Dockerデスクトップを起動できるはずだ。

And in the Docker desktop, you can actually go in and generate your Docker login, which will then give you access to all the different kinds of, you know, Dockers that are available to you.

Dockerデスクトップでは、Dockerログインを作成することができます。

So you have to make sure all of this is enabled first for you to, you know, access this particular annotator, which is which has been pushed as a Docker container.

したがって、Dockerコンテナとしてプッシュされたこの特定のアノテーターにアクセスするには、まずこのすべてが有効になっていることを確認する必要がある。

So now that Docker has been installed, let's go on to the next section.

Dockerのインストールが完了したので、次のセクションに進もう。

You start with the GitHub repo.

GitHubのレポから始める。

So this is a GitHub repo that you unpack in the location of your choice.

これはGitHubのレポで、好きな場所に解凍する。

Now, notice inside this particular folder called scripts.

さて、このscriptsというフォルダーの中に注目してほしい。

So these are the these are the shell scripts that you need to run in order to ensure that your local environment is exactly what this app requires for it to run.

このアプリの実行に必要なローカル環境を確保するために、これらのシェルスクリプトを実行する必要がある。

Now, the first thing that you that this particular thing is going to do is it's going to set up a local directory.

さて、まず最初にすることは、ローカル・ディレクトリをセットアップすることだ。

So what this particular code does is it creates this folder called local data.

このコードでは、ローカル・データというフォルダを作成する。

And this local data is sort of from where this particular app is going to, you know, access images if you require.

このローカル・データは、このアプリが画像にアクセスするためのものだ。

So let's say that I have this new batch of images that I need to annotate.

では、注釈が必要な新しい画像のバッチがあるとしよう。

I am going to go ahead and put them inside this this local data items.

このローカル・データ・アイテムの中に入れよう。

You know, CT.

CTのことだ。

These are the CT images that I want annotated.

これが注釈が欲しいCT画像だ。

So what I do is I go ahead and I put them inside this items folder.

だから、このitemsフォルダの中に入れておくんだ。

As soon as I do that, what it does, what the app does is it generates a fake local path corresponding to each and every one of these images.

そうするとすぐに、このアプリが行うのは、これらの画像のひとつひとつに対応する偽のローカルパスを生成することだ。

So the app can only access images through URL.

そのため、アプリはURLを通じてのみ画像にアクセスできる。

So if you have images that are available sitting in S3 buckets or GS buckets, then you can easily annotate them from there directly using the URL.

そのため、S3バケットやGSバケットに保存されている画像があれば、そこから直接URLを使って簡単にアノテーションを付けることができる。

All right.

分かった。

So once that is done, the you know, the one.

だから、それが終わったら、ほら、あれだ。

So once you know you have your batch script and you have your local directory set up, then you need to do a docker pull.

バッチスクリプトを作成し、ローカルディレクトリを設定したら、docker pullを実行する必要がある。

So let me go to my Anaconda PowerShell.

それでは、Anaconda PowerShellにアクセスしてみよう。

And here I am going to be.

そして、私はここにいる。

First of all, let me activate the virtual environment that where I have Docker.

まず最初に、Dockerをインストールした仮想環境を起動してみよう。

Now I need to go to the path where everything is stored.

さて、すべてを保存しているパスに行く必要がある。

Right.

そうだね。

So documents, annotations, scalable master, scalable and that's it.

つまり、ドキュメント、アノテーション、スケーラブルなマスター、スケーラブル、それだけだ。

So I am currently at the location.

だから私は今、その場所にいる。

So now let me check for Docker images.

それでは、Dockerイメージをチェックしてみよう。

So I have already done a Docker pull.

だから、すでにDocker pullを行った。

You see, this is the scalable slash WWW and you see it's 5.12 gigabyte.

これはスケーラブルなスラッシュWWWで、5.12ギガバイトなんだ。

So make sure you have that much space in order for it to run.

そのため、実行するためにはそれだけのスペースが必要です。

The other thing that needs to happen in order for this Docker image to run is, again, there are a few there are a few things that you need to pass to it.

このDockerイメージを実行するためにもう一つ必要なことがある。

One of them is a config file.

そのひとつが設定ファイルだ。

It's the config.yaml.

config.yamlだ。

So once this is there, I just run this command.

これができたら、このコマンドを実行するだけだ。

And it is now ready to accept accept any commands.

そして、あらゆる命令を受け入れる準備が整った。

Right.

そうだね。

So let's say that I am going to go to this particular page.

では、このページに行くとしよう。

And first off, we start by creating, creating projects.

そしてまず、プロジェクトを作ることから始める。

Right.

そうだね。

So you see, I've already had two projects.

だから、僕はすでに2つのプロジェクトを抱えているんだ。

But for this case, let me start a fresh one.

しかし、この件に関しては、新たに始めることにしよう。

So CT images.

だからCT画像だ。

Right.

そうだね。

And in this case, these are all images labeled type.

そしてこの場合、これらはすべてタイプラベルが貼られた画像である。

I'm going to make the polygons.

ポリゴンを作るんだ。

It's 2D segmentation.

2Dセグメンテーションだ。

Now, there are three different attribute files that need to be shared.

さて、共有する必要のある3つの異なる属性ファイルがある。

These are the three files that I'll be sharing.

以上、3つのファイルを紹介しよう。

First off, if you see, it is it is going to be generating these HTTP links.

まず第一に、HTTPリンクが生成される。

These are the fake path links that I talked to you about.

これが、私が話した偽のパスリンクだ。

But if I just go to a particular URL and if I just paste this, you'll see that you can now access this image.

しかし、特定のURLにアクセスして、これを貼り付ければ、この画像にアクセスできることがわかるだろう。

So if again, like I mentioned, if you have any image in an S3 bucket, you can just call the S3 bucket path here.

S3バケットに画像があれば、S3バケットのパスを呼び出せばいい。

And this video name is going to make sure that it belongs to a separate video track.

そしてこのビデオ名は、それが別のビデオトラックに属していることを確認する。

So this is the important image list that you need to pass.

というわけで、これがパスしなければならない重要な画像リストである。

Then it's the categories that you want to annotate.

次に、注釈を付けたいカテゴリーだ。

So it's, you know, ground glass opacity.

つまり、すりガラスのような不透明さだ。

And then there is lung.

そして肺だ。

That is what I need to annotate.

それこそ注釈が必要だ。

And then the segmentation attributes.

そしてセグメンテーション属性。

In this case, I'm calling it if it's blurry or if it's truncated or if there is writing on the image scans, then, you know, behave separately.

この場合、ぼやけたり、切り捨てたり、画像スキャンに書き込みがある場合は、別行動と呼んでいる。

So item list.

だからアイテムリストだ。

In this case, it's the image list categories.

この場合は、画像リストのカテゴリーだ。

I already have the categories and attributes.

カテゴリーと属性はすでに持っている。

Again, segmentation attributes is not a super important file.

繰り返しになるが、セグメンテーションの属性はそれほど重要なファイルではない。

And now if I say task size, I'll say give me 10 images per task.

そして今、私がタスクのサイズと言ったら、1タスクにつき10枚の画像をくださいと言うでしょう。

And when you say, you know, dashboard, it will take you to the dashboard.

そして、ダッシュボードと言えば、ダッシュボードが表示される。

Right.

そうだね。

So here you will see these are the task links.

これがタスクのリンクだ。

So whenever, you know, you are you're doing a particular set of jobs, this will take you to the task.

そのため、特定の仕事をするときはいつでも、そのタスクに移動することができる。

So this comes as the first task.

これが最初の仕事だ。

So here you can essentially run each and every one of the 10 images.

つまり、ここでは基本的に10枚の画像を1枚1枚実行することができる。

Like I mentioned, and see if they are, you know, what you what you need or not.

さっきも言ったように、それが自分に必要なものなのか、そうでないのかを見極めるんだ。

So let's say that.

では、そう言ってみよう。

Let's start annotating.

注釈をつけよう。

Once all of this is done, in order for you to now download in CT, you now have this option to download labels.

これがすべて完了すると、CTでダウンロードするために、ラベルをダウンロードするオプションが追加される。

If you do this, this is actually going to tell you that in this particular in image 0, these were all the vertices corresponding to, you know, Lung and Activity.

そうすると、この画像0では、「肺」と「活動」に対応する頂点がすべて表示されます。

So this could be, you know, again, it is always in the JSON format.

つまり、これは常にJSONフォーマットなのだ。

You are not going to get an image format.

画像フォーマットは手に入らない。

So you will have to use something else in order to, you know, compute from JSON to your images.

そのため、JSONから画像に変換するためには、何か別のものを使う必要がある。

But this is only going to give you because, you know, this particular software is made compatible with autonomous drive sort of scenarios.

しかし、このソフトは自律走行シナリオに対応している。

So that's the reason why it will only give you outcome as JSON files.

そのため、JSONファイルとしての結果しか得られないのだ。

So now let me do a new one.

では、新しいものを作ろう。

And this new project I'm going to call video bounding box.

そしてこの新しいプロジェクトは、ビデオ・バウンディング・ボックスと呼ぶことにする。

And in this case, I'm going to call it video tracking labeling by bounding boxes.

今回は、バウンディング・ボックスによるビデオ・トラッキング・ラベリングと呼ぶことにする。

In this case, the examples.

この場合は、その例である。

So the so the attributes and everything.

だから属性も何もかも。

It's already an image list which is present.

すでに存在する画像リストだ。

Again, these images correspond to autonomous drive situation.

繰り返すが、これらの画像は自律走行状況に対応している。

So image list is already there.

だからイメージリストはすでにある。

Categories.

カテゴリー

I'm just going to call categories.

カテゴリーを呼ぶだけだ。

Attributes is going to call B box attributes and say go to dashboard.

アトリビュートはBボックスのアトリビュートを呼び出し、ダッシュボードに移動する。

So as soon as I go to the dashboard, you see the new one is actually created.

だからダッシュボードに行くとすぐに、新しいものが作成されているのがわかる。

So now every single one of them will have.

だから今、彼ら一人ひとりが持っている。

So it has around 23 images per track.

そのため、1トラックあたり約23枚の画像がある。

So you can literally look at every single one of the images.

だから、文字通りすべての画像を見ることができる。

Now, let's say that for this particular exercise, what I wanted to do is I wanted to track pedestrians.

さて、この特別な練習のために、歩行者を追跡したいとしよう。

Pedestrians are my regions of interest.

歩行者は私の関心領域だ。

And I'm going to be creating bounding boxes.

これからバウンディング・ボックスを作成する。

So.

だから

So.

だから

So.

だから

So.

だから

If I run this.

これを実行すれば

See up till whenever you annotated it.

あなたが注釈をつけたときまで見てください。

Now you can actually see the people being followed by the same color.

これで、同じ色でフォローされている人々を実際に見ることができる。

So you are not going to get a different color bounding box every single time.

だから、毎回違う色のバウンディング・ボックスができるわけではない。

But you can actually link these pedestrians based off of their movement.

しかし、実際には歩行者の動きからリンクさせることができる。

So now if this allows for you to generate the mods or any place where you actually need a specific object ID, like these two pedestrians, everyone will have a unique object ID.

これで、MODや、この2人の歩行者のように特定のオブジェクトIDが必要な場所を生成することができれば、全員がユニークなオブジェクトIDを持つことになる。

You will now be able to run things like that.

これからはそのようなことができるようになる。

So if you have aerial view videos or if you have street view videos, then this particular software is super useful.

だから、もしあなたが空撮ビデオやストリートビューのビデオを持っているなら、この特別なソフトウェアは超便利だ。

So this is how, again, once you're done, you just go and hit submit.

だから、こうやって、終わったら、送信を押すだけだ。

And once it is submitted, you can actually go back and download it.

そして一度提出すれば、実際に戻ってダウンロードすることができる。

Go to the create page.

作成ページへ。

These were the video box and I can just say download.