Name: Unity Catalog の概要 (Unity Catalog Overview)
Uploaded: 2025-12-21T12:43:16.000Z
Duration: 6 min 48 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

様態の副詞

Let's get a look at some of those features matej has highlighted that we've recently added to Unity Catalog.

では、メテイが紹介してくれた、Unity Catalog に最近追加された機能の一部を見てみましょう。

We'll go ahead and start in Data Explorer where we can see all of the objects registered to our Unity catalog.

まずは Data Explorer から始めます。ここで Unity Catalog に登録されているすべてのオブジェクトを確認できます。

To get us started, I'll open up Retail Prod where I know our team is building a Churn prediction model.

まずは、チームが Churn prediction model を構築している Retail Prod を開きます。

What I love about this view is that I can see that Churn prediction model along with previous versions metadata comments right alongside the data that was used to train it.

このビューの良いところは、Churn prediction model と、そのトレーニングに使用されたデータと並んで、以前のバージョンのメタデータやコメントも確認できることです。

I can look at sample data history and lineage and I can view non tabular data or files and functions associated with the project as long as they're registered to the same schema.

サンプルデータ、履歴、リネージを確認でき、同じスキーマに登録されていれば、プロジェクトに関連する非表形式データやファイル、関数を表示できます。

これは AI のためのガバナンスです。

You might also notice that with Lakehouse Federation you can now access and external Data systems like MySQL, Postgres, and

Lakehouse Federation を使用すると、MySQL、Postgres、

Snowflake from directly within Data Explorer.

Snowflake のような外部データシステムに Data Explorer から直接アクセスできるようになったことにも気づくかもしれません。

This is huge because lots of organizations still have a long tail of sources yet to be ingested into the lakehouse, so you want to be able to permission manage and access that from one place.

これは非常に重要です。多くの組織では、まだレイクハウスに取り込まれていないソースが多数残っているため、それらを一元的にパーミッション管理し、アクセスできるようにしたいからです。

For example, if I want to give my analyst team read access to query this table, all I have to do is click Permissions, highlight that group, hit select and boom.

例えば、アナリストチームにこのテーブルをクエリする読み取りアクセス権を付与したい場合、パーミッションをクリックし、そのグループをハイライトして選択を押すだけで完了です。

Now they can query the table with all of the bells and whistles available to Unity Catalog like masking and tagging and in a future version this will push down all the way into the source system itself, in this case postgres.

これで、マスキングやタグ付けなど、Unity Catalog で利用可能なすべての機能を使ってテーブルをクエリできるようになります。将来のバージョンでは、これがソースシステム自体、この場合は Postgres にまでプッシュダウンされるようになります。

ですから、今から楽しみにしてください。

Data Explorer is great when I know which specific assets I want to work with and I know specifically what I want to do.

Data Explorer は、特定の資産が何であり、具体的に何をしたいのかがわかっている場合に非常に役立ちます。

But if what I am really looking to get is a high level understanding of the health of my data estate, I want to open up this Unity Catalog governance portal.

しかし、もし私が本当に求めているのが、データ資産の健全性に関する全体的な理解であるなら、この Unity Catalog ガバナンスポータルを開きたいと思うでしょう。

This will give me a sense of what all is inside my data ecosystem and how we're doing against governance and monitoring against them.

これにより、データエコシステム全体に何が含まれているのか、そしてそれらに対するガバナンスと監視がどのように行われているのかを把握できます。

For example, of my 143,000 tables I can see that about 60% of them are monitored.

例えば、143,000 のテーブルのうち、約 60% が監視されていることがわかります。

They have Lakehouse Monitoring enabled which is AI for governance.

これらは Lakehouse Monitoring が有効になっており、これはガバナンスのための AI です。

With Lakehouse Monitoring you can set up alerts and dashboards to automatically detect and automatically correct lots of issues with respect to potential PII leakage, data quality, data drift and more.

Lakehouse Monitoring を使用すると、アラートやダッシュボードを設定して、潜在的な PII 漏洩、データ品質、データドリフトなどに関する多くの問題を自動的に検出し、自動的に修正できます。

So this dashboard gives us a view of how our data estate changes over time, how we're doing on our governance and monitoring coverage, which of my catalogs might need attention based on some high level health metrics and one of the features I'm most excited about this surfaces some of those Auto detected issues for your review.

このダッシュボードは、データ資産が時間とともにどのように変化するか、ガバナンスと監視のカバレッジがどのようになっているか、どのカタログがいくつかの全体的な健全性メトリクスに基づいて注意を必要とする可能性があるか、そして私が最も楽しみにしている機能の 1 つは、レビューのために自動検出された問題の一部を表面化することです。

Now, if you remember, Retail Prod is my team's project, so I'm definitely concerned that there's some potential personally identifiable information leaking into this table.

さて、思い出していただけると、Retail Prod は私のチームのプロジェクトなので、このテーブルに個人を特定できる情報が漏洩する可能性があることを心配しています。

Let's go ahead and open up the lakehouse monitoring dashboard for this table to get a better sense of what's going on.

このテーブルのレイクハウス監視ダッシュボードを開いて、何が起こっているのかをより詳しく見てみましょう。

What's special about this view, where we can see this one active alert, is that we can actually see how this table has evolved over time.

このビューで特別なのは、この 1 つのアクティブなアラートを見ることができるだけでなく、このテーブルが時間とともにどのように進化してきたかを見ることができることです。

アラートがあることはわかっていますが、

I can also see that that alert only started as of today, which is great.

そのアラートが今日から始まっただけであることもわかります。これは素晴らしいことです。

Hopefully that gives us enough time to contain anything that might have been impacted.

影響を受けた可能性のあるものを封じ込めるのに十分な時間があることを願っています。

So if we scroll down, we can get a bit more information about what the system saw.

下にスクロールすると、システムが何を見たかについての詳細情報を得ることができます。

Like this PII appeared in user attributes.

ユーザー属性に PII が表示されたようなものです。

It looks like 7.8% of the rows may have a first or last name in that column.

その列の行の 7.8% が名または姓を含んでいる可能性があります。

Let's look at one of the sample values to better validate.

サンプル値の 1 つを見て、より正確に検証しましょう。

Yep, it looks like User attributes is a JSON string, so it's easy for additional attributes to get added that do in fact look like names.

はい、User attributes は JSON 文字列のようで、実際には名前のように見える追加属性が簡単に追加できるようです。

So we'll want to make sure that this is getting masked and we'll want to figure out how this got here in the first place.

これをマスキングするようにして、そもそもどうやってここに来たのかを突き止める必要があります。

To do that, I'll open up this table back in our Data Explorer view.

そうするために、このテーブルを Data Explorer ビューで再度開きます。

ここでアラートを確認できます。

Again, we can validate that this column is being properly masked and we can open up our lineage graph to see where it came from in the first place.

この列が適切にマスキングされていることを再度検証し、リネージグラフを開いて、そもそもどこから来たのかを確認できます。

Here's the table in question, as we can see by the red markings and the monitoring alert.

問題のテーブルはこちらです。赤色のマークと監視アラートで確認できます。

But it's joining a lot of different tables from different systems.

しかし、これは異なるシステムからの多くの異なるテーブルを結合しています。

So let's expand this to see where the User Attributes column came from.

それでは、User Attributes 列がどこから来たのかを見るために展開しましょう。

So now I know to reach out to the team that owns Postgres to see if this is expected or if further mitigation is needed.

これで、Postgres を所有するチームに連絡して、これが予期されたものなのか、それともさらなる緩和策が必要なのかを確認できます。

I can also follow the table downstream and see this floats into a feature store which powers our churn prediction model.

このテーブルをさらに下流にたどると、機能ストアにフローし、それがChurn prediction modelを強化していることがわかります。

If PII gets into that model, we are out of compliance.

もしPIIがそのモデルに入り込むと、コンプライアンス違反になります。

So I really want to roll this back to a version that was trained before the PII was introduced.

ですから、PIIが導入される前にトレーニングされたバージョンにこれをロールバックしたいのです。

And to do that I'll just look at that model in Data Explorer.

そのために、Data Explorerでそのモデルを確認します。

So I'll definitely want to roll back the churn prediction model to a version that was trained before PII was introduced.

ですから、Churn prediction modelをPIIが導入される前にトレーニングされたバージョンにロールバックしたいのです。

In this case, we can see the latest version was trained after PII was introduced.

この場合、最新バージョンがPII導入後にトレーニングされていることがわかります。

So we'll want to go back to version one in our system, we're set up to serve the model that's Alias as Champion.

そこで、システム内のバージョン1に戻します。モデルはChampionとしてエイリアスされています。

So all we have to do to serve the previous version is Alias version one as champion.

ですから、前のバージョンを提供するのに必要なのは、バージョン1をChampionとしてエイリアスすることだけです。

Now we know we've successfully mitigated the model that we're serving, and we're now serving the SAFE model.

これで、提供しているモデルを正常に緩和し、SAFEモデルを提供していることがわかりました。

All in all, in the last couple of minutes, what we saw was that the system detected potential PII leakage.

全体として、この数分間で、システムがPIIの潜在的な漏洩を検出したことがわかりました。

It automatically masked and mitigated any potential leakage to end users, and

潜在的な漏洩をエンドユーザーに自動的にマスキングおよび緩和し、

it made it easy for us to understand where the PII was coming from and what potential systems and models were impacted downstream.

PIIがどこから来ているのか、そしてどの潜在的なシステムやモデルが下流に影響を受けたのかを簡単に理解できるようになりました。

Now that we've aliased the previous version as the champion, we know we're serving the SAFE model.

前のバージョンをチャンピオンとしてエイリアスしたので、SAFEモデルを提供していることがわかります。

In the last few minutes, we saw Enterprise Wide Reach with LakeHouse Federation with MySQL PostgreSQL and Snowflake available to access, manage and permission from within Unity Catalog.

この数分間で、Unity Catalog内からアクセス、管理、パーミッション管理が可能なMySQL、PostgreSQL、Snowflakeを備えたLakeHouse Federationによるエンタープライズワイドリーチを見ました。

We saw Governance for AI with our model Feature store and volumes directly available within Data Explorer.

Data Explorer内で直接利用可能なモデルフィーチャストアとボリュームによるAIのためのガバナンスを見ました。

We also saw AI for Governance with Lakehouse Monitoring automatically detecting and resolving that potential PII issue.

また、Lakehouse MonitoringによるAIによるガバナンスで、PIIの潜在的な問題を自動的に検出し解決しました。

This workflow has saved me tons of time compared to what it used to look like, and

このワークフローのおかげで、以前と比べて大幅に時間を節約できました。

with that, I think maybe I deserve an extra long lunch.

これで、少し長めのランチでも良いかと思います。

どう思いますか、マテイさん？

さて、あなたにお返しします。