How it would look in reality.

現実にはどう見えるだろう。

That is called rendering.

それをレンダリングと呼ぶ。

One of my favorite ways to do rendering is through ray tracing, which is an incredible technique that simulates how light interacts with the scene and gives you these beautiful results.

これは、光がシーンとどのように相互作用するかをシミュレートし、美しい結果をもたらす素晴らしいテクニックだ。

That was rendering.

あれはレンダリングだ。

Scene goes in, an image comes out.

シーンが入り、イメージが出てくる。

But now, imagine the opposite.

しかし、今度はその逆を想像してみてほしい。

What is this crazy talk?

このおかしな話は何だ？

Well, hear me out.

まあ、最後まで聞いてくれ。

Imagine that you have images, and you want to get what the scene was behind the image.

画像があり、その画像の背後にある情景を知りたいとする。

Get a digital 3D model of the scene.

シーンのデジタル3Dモデルを入手する。

An image goes in, and a scene comes out.

イメージが入り、シーンが出てくる。

And imagine how cool that would be when you want to create a video game, you just make an image, and out comes the scene for the game.

そして、ビデオゲームを作りたいときに、画像を作るだけでゲームのシーンが出てきたらどんなにクールだろうと想像してみてほしい。

However, not so fast.

しかし、そうもいかない。

Dear Fellow Scholars, this is Two Minute Papers with Dr. Károly Zsolnai-Fehér, and here, the question is, what is the geometry there, what materials are they made of, lighting everything?

親愛なる研究者の皆さん、カーリー・ゾルナイ・フェヘール博士のTwo Minute Papersです。

That needs an expert and many-many work hours.

これには専門家と多くの作業時間が必要だ。

Here you see Andrew Price assembling such a scene in Blender, a 3D editor program.

ここでは、アンドリュー・プライスが3DエディタープログラムであるBlenderでこのようなシーンを組み立てているところを見ることができる。

Imagine that you have a photo of the result, then, you have to do all this sculpting, assigning materials, lighting, and more.

出来上がった写真を想像してみてください。それから、スカルプティング、マテリアルの割り当て、ライティングなどをすべてやらなければなりません。

And then, when you are done, rendering.

そして、終わったらレンダリングする。

But at this point, you just think that you are done, because your results are obviously not the same as the target image, so you have to play with the geometry, lighting, and materials, render the image again.

しかし、この時点では、結果がターゲット画像と明らかに違うので、ジオメトリ、ライティング、マテリアルを弄り、もう一度画像をレンダリングしなければならない。

This takes forever.

これには時間がかかる。

Hours.

時間。

Days.

日間だ。

Even weeks, depending on the complexity of the scene.

シーンの複雑さによっては数週間かかることもある。

And it is super challenging.

そして、超やりがいがある。

So, we look at a photo and build a scene by hand.

だから写真を見て、手作業でシーンを作っていく。

I imagine that in a science fiction world, we could, perhaps, have an amazing algorithm that could do this automatically.

SFの世界では、もしかしたらこれを自動的にやってくれる素晴らしいアルゴリズムができるかもしれないと想像している。

Let's call this inverse rendering.

これを逆レンダリングと呼ぼう。

How would that even work?

そんなことができるのか？

Well, few of you Fellow Scholars know, there are previous works that do that.

まあ、学者仲間の皆さんはほとんどご存じないだろうが、そういう過去の作品もある。

They are absolutely amazing.

彼らは本当に素晴らしい。

You see how these beautiful pieces of geometry grow out of nothing.

何もないところから美しい幾何学的なピースが生えてくるのがわかるだろう。

You just specify what you want with a 2D image, and it creates a 3D model.

2D画像で欲しいものを指定するだけで、3Dモデルが作成される。

And we are talking detailed 3D models here.

しかも、ここでは詳細な3Dモデルの話をしている。

Super incredible.

超すごい。

But this is just 3D modeling.

しかし、これは単なる3Dモデリングだ。

What about materials?

素材についてはどうですか？

And now, have a look at this research paper from the University of California, Irvine and NVIDIA.

カリフォルニア大学アーバイン校とエヌビディアの研究論文をご覧ください。

And it can do some amazing things.

そして、驚くようなことができる。

First, if we put a few light sources on a painting, it can reconstruct the painting itself.

まず、絵の上にいくつかの光源を置くと、絵そのものを再構成することができる。

It is similarly good with reconstructing the material of this object too if it can take a look at a set of images of it.

その物体の画像一式を見ることができれば、その物体の材質を再構築することも同様に得意である。

But here come my favorites.

しかし、私のお気に入りはここにある。

Here is a tree.

ここに木がある。

Now, hold on to your papers Fellow Scholars, because the task is super challenging.

フェロー・スカラーズの諸君、この課題は超難関だ。

What you get is not even a view of the plant.

あなたが手にするのは、工場の景色ですらない。

No, no, you get a look at just the shadow of the plant.

いえいえ、植物の影だけを見てください。

Now, figure out what the plant looks like.

では、その植物がどのような姿をしているかを把握しよう。

Previous techniques couldn't do it, they were just trying and trying, and not getting anywhere.

今までの技術ではできなかった。やってもやってもうまくいかなかった。

But the new method, first, it tries to sculpt the object in different possible ways to be able to match its shadow, and as it does that, you can see its current guess for the geometry of the tree itself.

しかし、新しい方法では、まず、その影を一致させることができるように、オブジェクトをさまざまな方法でスカルプトしようとする。

So, can it do it?

では、それは可能なのか？

It can!

それは可能だ！

Wow!

ワオ！

Absolutely amazing!

本当に素晴らしい！

And all this from just seeing a shadow.

しかも、影を見ただけで、だ。

The processes that you see here are sped up, and this one took only 16 minutes.

ここに表示されているプロセスはスピードアップされたもので、このプロセスにはわずか16分しかかからなかった。

I think, for a human being, doing this sounds almost impossible in any amount of time, let alone in a few minutes.

人間にとって、このようなことは数分どころか、いくら時間があってもほとんど不可能に聞こえると思う。

Incredible!

信じられない！

Now, we have two more really cool tests for it, and then, a huge surprise!

今、私たちはさらに2つの本当にクールなテストを用意している！

Here is one more case where we reconstruct an octagon by merely looking at its shadow again.

ここでもうひとつ、八角形の影をもう一度見るだけで八角形を再構成するケースを紹介しよう。

This one checks out, and now, we have a world map relief in a large room with a window.

そして今、窓のある大きな部屋に世界地図のレリーフがある。

It gets to look at some images of it, but ultimately, what it needs to reconstruct is the bumps in the geometry that create this effect.

いくつかの画像を見ることができるが、最終的に再構築する必要があるのは、この効果を生み出すジオメトリーの段差だ。

And I love seeing how it morphs this solution into being.

そして、この解決策がどのように変化していくかを見るのが好きなんだ。

So cool!

とてもクールだ！

And here comes the best part!

そして、ここからが一番の見せ場だ！

This technique is up to a hundred times faster than its predecessors.

この技術は、従来の技術より100倍も速い。

A hundred X!

百X！

That is an incredible leap forward in just one research paper.

たった1本の研究論文で、これは信じられないほどの飛躍だ。

And since the quickest scene goes from 12 minutes up to about 2 hours, that can already be useful for some tasks, but just imagine what we will be capable of two more papers down the line!

最速のシーンは12分から約2時間なので、これはすでにいくつかのタスクに役立つが、あと2紙先にはどんなことができるようになるのか想像してみてほしい！

My goodness!

なんてことだ！

So, we don't need to live in a science fiction world for a technique like this, it is right here!

だから、このような技術はSFの世界に住む必要はない！

I am getting goosebumps.

鳥肌が立ってきた。

And it is clearly not as good as Andrew, no one is, but it is an amazing step forward in creating virtual worlds, maybe even video games from just an image or a drawing.

アンドリューほど上手くはないのは明らかだが、画像やドローイングだけからバーチャルな世界、ひょっとしたらビデオゲームを作り出すという点では、驚くべき進歩だ。

Don't forget, scientists at Google DeepMind are already working on the video game part.

忘れてはならないのは、グーグル・ディープマインドの科学者たちはすでにビデオゲームの部分に取り組んでいるということだ。

And good news, the source code is also available.

そして朗報は、ソースコードも公開されていることだ。

So we get all this knowledge for free!

だから、私たちはこれらの知識をすべて無料で手に入れることができる！

I don't know if I told you before, but I love research papers.

前にも言ったかもしれないけど、僕は研究論文が大好きなんだ。

And if you wish to run your own experiments in the cloud, make sure to check out Microsoft

また、クラウド上で独自の実験を行いたい場合は、マイクロソフトの「マイクロソフト・クラウド」をぜひご覧ください。

Azure AI.

アジュールAI。

And by the way, Azure AI is a powerful cloud platform that offers you the best tools for your AI projects with responsible AI built-in.

ところで、Azure AIは、責任あるAIを組み込んだAIプロジェクトに最適なツールを提供する強力なクラウドプラットフォームだ。

And here comes the best part, you can even try it out for free through the link in the video description.

そしてここからが一番の見せ場だ。動画の説明文にあるリンクから無料で試すこともできる。