Name: Dagster+の紹介：伝統的なオーケストレーションを超えて (Introducing Dagster+ : Beyond traditional orchestration)
Uploaded: 2025-03-22T19:57:31.000Z
Duration: 29 min 52 s
Description: VoiceTubeの動画で発音を聞きながら英語表現を覚えよう！学べる英語：

こんにちは、ダグスター・ラボCEOのピートです。

Today we are launching Dagster Plus, the next evolution of Dagster Cloud.

本日、私たちはダグスター・クラウドの次の進化形であるダグスター・プラスを発表します。

基礎受動態

Dagster Plus is a major rethinking of what a data orchestrator is, where it sits in the stack, and how data platforms are constructed.

Dagster Plusは、データ・オーケストレーターとは何か、データ・オーケストレーターはスタックのどこに位置するのか、データ・プラットフォームはどのように構築されるのかを大きく見直すものだ。

Since our launch in August of 2022, we've seen enormous growth in both the Dagster Core open source project and our commercial product.

2022年8月の立ち上げ以来、私たちはDagster Coreオープンソースプロジェクトと商用製品の両方で大きな成長を見てきました。

We now have hundreds of commercial customers and the fastest growing open source community in the category.

現在では、数百社の商用顧客と、このカテゴリーで最も急速に成長しているオープンソースコミュニティを有しています。

With this growth comes broader and deeper relationships with our diverse set of customers.

この成長とともに、多様な顧客との関係もより広く、より深くなっている。

As we engaged with these customers throughout 2022 and 2023, we heard a few key challenges.

2022年から2023年にかけてこれらの顧客と関わるなかで、いくつかの重要な課題を耳にした。

They were spending too much money on infrastructure, especially on the data warehouse, ETL tools, and AI workloads, and struggled to understand, optimize, and control their spend.

インフラ、特にデータウェアハウス、ETLツール、AIワークロードに多額の資金を費やしており、その支出の把握、最適化、管理に苦慮していた。

Their stacks were sprawling and complex with hundreds of different integrations and point solutions and varying levels of maintenance, and no single pane of glass for understanding the data platform as a whole.

彼らのスタックは、何百もの異なる統合やポイント・ソリューション、さまざまなレベルのメンテナンスがあり、データ・プラットフォーム全体を理解するための単一のガラス窓がなく、広大で複雑だった。

Inspired by the data mesh architecture, they wanted to empower individual teams to work autonomously end-to-end, but struggled to balance this with the centralized needs of the data organization.

データ・メッシュ・アーキテクチャに触発された彼らは、個々のチームがエンド・ツー・エンドで自律的に作業できるようにしたいと考えていたが、データ組織の中央集権的なニーズとのバランスに苦労していた。

We realized that we could solve many of these problems for customers by making a significant investment in tooling that sits on top of the core data orchestration engine.

私たちは、コアとなるデータ・オーケストレーション・エンジンの上に載せるツールに多大な投資をすることで、顧客のこうした問題の多くを解決できることに気づきました。

So we spent the last 12 months spinning up a team dedicated to these problems, building furiously, and iterating with design partners.

そこで私たちはこの12ヵ月間、これらの問題に特化したチームを立ち上げ、猛烈な勢いで開発を進め、デザイン・パートナーと反復を繰り返した。

I'm proud of what the team has accomplished, and I'm excited to present the fruits of our labor to you today.

私はチームが成し遂げてきたことを誇りに思うし、今日、その成果を皆さんにお見せできることに興奮している。

So let's dig into what Dagster Plus is specifically and why Dagster Labs is uniquely positioned to deliver this type of product.

では、ダグスター・プラスが具体的にどのような製品なのか、そしてなぜダグスター・ラボがこの種の製品を提供する独自の立場にあるのかを掘り下げてみよう。

First and foremost, Dagster Plus is the next evolution of Dagster Cloud, our enterprise-class hosted product.

何よりもまず、Dagster Plusはエンタープライズクラスのホスト型製品であるDagster Cloudの次の進化形です。

This means it includes everything that was part of Dagster Cloud, including enterprise access control, seamless scale-up to tens of thousands of assets and hundreds of thousands of partitions, and serverless, or hybrid on-prem, managed infrastructure.

つまり、エンタープライズ・アクセス・コントロール、数万アセットと数十万パーティションへのシームレスなスケールアップ、サーバーレス、またはハイブリッドなオンプレミス、マネージド・インフラストラクチャなど、ダグスター・クラウドの一部をすべて含むということだ。

This also means that we're retiring the Dagster Cloud brand today.

これはまた、ダグスター・クラウドのブランドを本日をもって引退することを意味する。

Second, Dagster Plus is a suite of tools that sits on top of Dagster's data orchestration engine and benefits from this deep integration.

第二に、Dagster PlusはDagsterのデータ・オーケストレーション・エンジンの上に位置するツール・スイートであり、この深い統合の恩恵を受けている。

Today we'll be focused on four primary areas of the product.

今日は、製品の4つの主要分野に焦点を当てる。

We've built a brand new data catalog and data discovery capability in Dagster Plus, which enables all users of the data platform to discover and leverage data autonomously.

私たちはDagster Plusに全く新しいデータ・カタログとデータ発見機能を構築し、データ・プラットフォームのすべてのユーザーが自律的にデータを発見し活用できるようにしました。

Dagster Plus, built on Dagster Core, is AssetCheck's feature, introducing additional capabilities around anomaly detection, freshness, and alerting.

Dagster Plusは、Dagster Coreをベースに構築されたAssetCheckの機能で、異常検知、鮮度、アラートに関する追加機能を導入しています。

We've made massive improvements to our branch deployments feature from Dagster Cloud and are launching a killer new capability, change tracking, with Dagster Plus.

私たちはDagster Cloudのブランチ・デプロイメント機能に大規模な改良を加え、Dagster Plusでキラー新機能である変更トラッキングを開始します。

And finally, Dagster Insights enables data teams to manage their spend on tools like Snowflake, Fivetran, and OpenAI without doing any additional integration work.

そして最後に、Dagster Insightsは、データチームが追加の統合作業を行うことなく、Snowflake、Fivetran、OpenAIのようなツールでの支出を管理することを可能にする。

With Dagster Plus, Insights is now generally available and comes with many new features and integrations.

ダグスター・プラスでは、インサイトが一般的に利用できるようになり、多くの新機能と統合が搭載された。

The upcoming presentations will dive into each of these in detail, but before we do, I wanted to touch on why we, rather than our competitors, are uniquely positioned to address these challenges.

これからのプレゼンテーションでは、これらひとつひとつについて詳しく掘り下げていく予定だが、その前に、なぜ競合他社ではなく私たちがこれらの課題に取り組む独自の立場にあるのかについて触れておきたい。

Dagster has historically been considered a data orchestrator.

Dagsterは歴史的にデータ・オーケストレーターとみなされてきた。

All of Dagster's main alternatives, such as Apache Airflow, proudly declare themselves as workflow-oriented tools.

Apache AirflowのようなDagsterの主な代替ツールはすべて、ワークフロー指向のツールであることを誇らしげに宣言している。

They are primarily focused on the scheduling of black box tasks.

これらは主にブラックボックス・タスクのスケジューリングに重点を置いている。

While this makes these tools quite flexible and suitable for a variety of non-data applications, they are not specialized to the data domain.

このため、これらのツールは非常に柔軟で、データ以外のさまざまなアプリケーションに適しているが、データ領域に特化しているわけではない。

In fact, we believe that there is an impedance mismatch between the workflow-oriented tools like Airflow, which deals primarily with tasks, and the rest of the data platform, which deals primarily with data assets, like database tables, machine learning models, and files.

実際、主にタスクを扱うAirflowのようなワークフロー指向のツールと、主にデータベーステーブルや機械学習モデル、ファイルのようなデータ資産を扱うデータプラットフォームの残りの部分との間には、インピーダンスのミスマッチがあると我々は考えている。

ダグスターは違うアプローチを取る。

Dagster is the only widely adopted asset-oriented data orchestrator, built from the ground up with data assets and data awareness at its core.

Dagsterは広く採用されている唯一のアセット指向のデータ・オーケストレーターであり、データ・アセットとデータ・アウェアネスを中核としてゼロから構築されている。

This unique architecture enables Dagster Plus to deliver a category-redefining, integrated experience, bringing together unique capabilities into one tool in order to speed up your development work, reduce your costs, and simplify your data platform.

このユニークなアーキテクチャにより、Dagster Plusはカテゴリーを再定義する統合されたエクスペリエンスを提供し、開発作業のスピードアップ、コストの削減、データ・プラットフォームの簡素化を実現するために、ユニークな機能を1つのツールにまとめることができます。

私はもう石けん箱から降りる。

Let's hear from Jared, who will tell us about the data catalog.

データカタログについてジャレッドから話を聞こう。

I'm Jared, the head of product at Dagster Labs.

ダグスター・ラボの製品責任者、ジャレッドです。

Today we're announcing a brand new data catalog as part of Dagster Plus, but before we get into that, let's talk about the unfulfilled promise of data catalogs.

本日は、ダグスター・プラスの一部として、まったく新しいデータ・カタログを発表いたしますが、その前に、データ・カタログの果たされていない約束についてお話ししましょう。

As your organization scales, the number of assets you have to manage also scales.

組織の規模が大きくなれば、管理すべき資産の数も増える。

It doesn't take long before you end up with a large number of rarely used data models with poor documentation and questionable provenance.

ドキュメントが乏しく、出所も疑わしい、めったに使われないデータモデルを大量に抱えることになるまでに、そう時間はかからない。

The central premise of data catalogs is to resolve all this by helping teams avoid rework and duplication, and help data practitioners work more independently by enabling them to discover and use trusted data assets.

データカタログの大前提は、チームが再作業や重複を避け、信頼できるデータ資産を発見し利用できるようにすることで、データ実務者がより自立して作業できるよう支援し、これらすべてを解決することである。

Unfortunately, because standalone data catalogs don't have a native understanding of data operations, they have to create observations about the state of data assets from the exhaust of the loosely integrated tools that comprise the data platform.

残念なことに、スタンドアローンのデータカタログはデータ運用をネイティブに理解していないため、データプラットフォームを構成する疎に統合されたツールの排気から、データ資産の状態に関する観察を作成しなければならない。

As a result, data engineering team ends up constantly troubleshooting problems of accuracy and timeliness in the syncing the state of their data assets to the data catalog.

その結果、データ・エンジニアリング・チームは、データ資産の状態をデータ・カタログに同期させる際の正確性と適時性の問題について、常にトラブルシューティングを行うことになる。

All the while, they are trying to coax the rest of their stakeholders to follow a new set of development practices to ensure that it remains in sync.

その一方で、他のステークホルダーを説得し、新しい開発プラクティスに従わせることで、同調を保とうとしている。

Typically, the end result is a lack of adoption from the very downstream stakeholders that the data team was trying to help.

一般的に、データチームが助けようとした川下のステークホルダーからの採用が進まないという結末が待っている。

Unlike traditional workflow orchestrators, Dagster is asset oriented.

従来のワークフロー・オーケストレーターとは異なり、Dagsterはアセット指向である。

It places data assets at the core of the development framework.

データ資産を開発フレームワークの中核に据える。

The result is a powerful combination of context about data operations, and the outputs of those operations.

その結果、データ操作に関するコンテキストと、それらの操作のアウトプットが強力に組み合わされる。

This view of data assets and operations makes Dagster a natural tool for data discovery and documentation, creating a data catalog that serves the needs of all practitioners.

このようなデータ資産とオペレーションのビューにより、Dagsterはデータ発見と文書化のための自然なツールとなり、すべての実務者のニーズに応えるデータカタログを作成する。

With the launch of Dagster Plus, teams who want to spend less time managing integrations for their tools, and more time getting things done, will find it particularly useful as a new system of record.

Dagster Plusのローンチにより、ツールの統合管理に費やす時間を減らし、物事を成し遂げるにより多くの時間を費やしたいと考えているチームは、新しい記録システムとしてDagster Plusを特に重宝することだろう。

And while we're still early in our journey, we are already seeing that, for many teams, this eliminates the need for traditional point solution data catalogs.

私たちはまだ旅の初期段階ですが、多くのチームにとって、従来のポイント・ソリューション・データ・カタログが不要になることをすでに目の当たりにしています。

The first major set of improvements focuses on the kinds of data that Dagster collects and displays at the asset definition level.

最初の主要な改善点は、Dagsterが収集し、資産定義レベルで表示するデータの種類に焦点を当てています。

On the asset details page, you'll now be able to find a new variety of information about your data asset that helps you understand the status, technical state, definition, ownership, location, and more all at a glance.

アセット詳細ページでは、データアセットのステータス、技術状態、定義、所有者、場所などを一目で把握できるように、データアセットに関するさまざまな情報を新たに見つけることができるようになりました。

You can see things like the latest status of your asset, including the data quality testing configured on the asset, its description, who owns the asset, what groups and tags are associated with it, as well as where the asset is located, its compute details, and the associated resources and compute kind.

アセットに設定されたデータ品質テスト、アセット説明、アセット所有者、アセットに関連付けられているグループやタグ、アセットが配置されている場所、コンピュート詳細、関連するリソースやコンピュート種類など、アセットの最新ステータスなどを確認できます。

And for structured assets, you'll now find a new rich set of details, including any raw SQL that defines the asset structure, metadata about column names, descriptions, and data types.

また、構造化アセットについては、アセット構造を定義する生のSQL、カラム名、説明、データ型に関するメタデータを含む、新しい豊富な詳細セットを見つけることができます。

And an exciting new change that we're launching for enterprise customers is the ability to explore the lineage of individual columns on the page.

そして、企業のお客様向けに開始するエキサイティングな新しい変更点は、ページ上の個々の列の系譜を探索する機能です。

When automatically ingested from DBT or derived from user-provided metadata, Dagster can compute the relationship of individual columns and represent them on the page similar to our asset lineage graph.

DBTから自動的に取り込まれた、あるいはユーザーから提供されたメタデータから導き出された場合、Dagsterは個々の列の関係を計算し、資産の系統グラフと同様にページ上に表現することができる。

Column lineage provides a clear understanding of how data moves and transforms within a system, allowing you to track things like the proliferation of PII or tracing a mistake through its various downstream tables.

列の系譜は、データがシステム内でどのように移動し、変換されるかを明確に理解し、PIIの拡散や、様々な下流テーブルを通じたミスの追跡などを可能にします。

This new feature will help you manage data quality, compliance, and increase the speed of your troubleshooting.

この新機能は、データ品質、コンプライアンスの管理、トラブルシューティングのスピードアップに役立ちます。

But our feature release doesn't stop with the asset data model and UI.

しかし、私たちの機能リリースはアセット・データ・モデルとUIにとどまらない。

We're also releasing a new, more powerful search experience to help you quickly locate the most relevant data.

また、よりパワフルな新しい検索エクスペリエンスをリリースし、最も関連性の高いデータを素早く見つけることができるようになりました。

From this interface, you can search for data assets by metadata, including their name, their compute kind, the asset group, the asset owner, or by any associated tag that you add to your assets, and see information about all of your data assets by their associated metadata.

このインターフェイスから、名前、コンピュート・タイプ、アセット・グループ、アセット・オーナー、またはアセットに追加した関連タグなどのメタデータによってデータ・アセットを検索し、関連するメタデータによってすべてのデータ・アセットに関する情報を見ることができます。

I want to call out a feature here that might get passed over, which is definition-level tags.

ここでは、定義レベルのタグという、スルーされるかもしれない機能を紹介したい。

With definition-level tagging, you can more easily add cross-sectional data to organize and group your data assets.

定義レベルのタグ付けにより、より簡単に横断的なデータを追加して、データ資産を整理し、グループ化することができます。

So now you can tag all of your intermediary assets, or your assets with PII, or the assets that support your finance team, and make these assets easily discoverable by their relevant stakeholders.

そのため、すべての仲介資産、PIIを持つ資産、財務チームをサポートする資産にタグを付け、これらの資産を関連する利害関係者が簡単に発見できるようにすることができる。

Dagster's data catalog experience is powerful because of how it combines context about data pipelines and the data assets they produce.

Dagsterのデータ・カタログ体験が強力なのは、データ・パイプラインとそれらが生み出すデータ資産に関するコンテキストをどのように組み合わせるかにある。

But we know that not everyone needs to look under the hood inside Dagster.

しかし、誰もがダグスターの内部を覗く必要があるわけではないことは承知している。

Sometimes your data practitioners just need to know where to find the right asset.

データ担当者は、適切なアセットがどこにあるかを知っているだけでよいこともある。

And that is why we're also launching a new capability we're calling Catalog Mode, which allows you to hide most of the operational views of Dagster, and instead focus on the assets that Dagster has documented.

カタログ・モードと呼んでいる新機能は、ダグスターのオペレーション・ビューのほとんどを非表示にし、代わりにダグスターが文書化したアセットに焦点を当てることを可能にします。

This new feature can be turned on by default for your viewers in your organization, or turned off when they need to go deeper.

この新機能は、組織内の視聴者に対してデフォルトでオンにすることも、より深く見る必要があるときにはオフにすることもできる。

So that's our high-level introduction to the brand new data catalog and search features in Dagster+.

以上、Dagster+の全く新しいデータ・カタログと検索機能を大まかに紹介した。

We expect this addition will make it easier for all teams on the data platform to find information about their data assets and status, and to operate more autonomously, while reducing the operational burden on the platform team.

この追加により、データプラットフォーム上のすべてのチームが、データ資産やステータスに関する情報を見つけやすくなり、プラットフォームチームの運用負担を軽減しながら、より自律的に運用できるようになると期待しています。

You might find it helps eliminate the need for standalone tools, which will reduce context switching, help break down data silos, and reduce the total cost of ownership of your data platform.

スタンドアロン・ツールの必要性を排除し、コンテキスト・スイッチングを減らし、データ・サイロを解消し、データ・プラットフォームの総所有コストを削減するのに役立つことがわかるかもしれない。

We know that data cataloging is an important capability for teams, and we're excited to be rolling out this first version, but we're not stopping here.

私たちは、データ・カタログがチームにとって重要な機能であることを知っており、この最初のバージョンを展開できることに興奮しています。

Sooner Catalog will also consume data about assets that are not managed by Dagster, and represent them in the data catalog as external assets.

Sooner Catalogは、Dagsterによって管理されていないアセットに関するデータも消費し、外部アセットとしてデータカタログに表現する。

I hope this first overview has you interested in the new data cataloging capabilities in Dagster+, but check out the companion blog to find out more.

この最初の概要で、Dagster+の新しいデータ・カタログ機能に興味を持っていただければ幸いです。

I'm Sandy, the lead engineer on the Dagster project.

私はダグスター・プロジェクトのリード・エンジニア、サンディです。

Today, I'm going to talk about the new data reliability features that we're launching as part of Dagster+, and how they help you deliver trustworthy data to stakeholders across your entire data platform.

本日は、Dagster+の一部として発表された新しいデータ信頼性機能について、そしてデータ・プラットフォーム全体にわたって信頼できるデータをステークホルダーに提供するためにどのように役立つかについてお話しします。

The job of a data orchestrator is to help you produce and maintain the data assets that your organization depends on.

データ・オーケストレーターの仕事は、組織が依存するデータ資産の作成と維持を支援することだ。

Whether those assets are tables, machine learning models, or reports, in order to be useful, they need to be trustworthy and reliable.

それらの資産が表であれ、機械学習モデルであれ、レポートであれ、有用であるためには、信頼できるものでなければならない。

That is, they need to consistently contain up-to-date and high-quality data.

つまり、常に最新で質の高いデータが含まれている必要がある。

But bugs are inevitable, and pipeline developers don't control the data that enters their pipelines.

しかしバグは避けられないし、パイプライン開発者はパイプラインに入るデータをコントロールできない。

So the only realistic way to achieve trustworthy data is with monitoring and issue detection, so that issues can be addressed before they affect downstream consumers.

従って、信頼できるデータを実現する唯一の現実的な方法は、モニタリングと問題検出であり、問題が川下の消費者に影響を与える前に対処できるようにすることである。

Most data teams struggle with data reliability because they don't have robust monitoring.

ほとんどのデータチームがデータの信頼性で苦労しているのは、強固なモニタリングを行っていないからだ。

Workflow-oriented orchestrators like Airflow will report if your data pipeline hits an error during execution, but don't offer visibility into the quality, completeness, or freshness of the data that they're updating.

Airflowのようなワークフロー指向のオーケストレーターは、データパイプラインが実行中にエラーに見舞われた場合に報告してくれるが、更新中のデータの品質、完全性、鮮度についての可視性は提供しない。

Teams that adopt stand-alone data reliability tools often end up abandoning them, because they're difficult to fit into practices for operating data.

スタンドアローンのデータ信頼性ツールを採用したチームは、データ運用のプラクティスに適合させるのが難しいため、しばしばそれを放棄することになる。

Data engineers end up needing to visit both their orchestrator and their reliability tool to understand the health of their data pipeline.

データエンジニアは結局、データパイプラインの健全性を理解するために、オーケストレーターと信頼性ツールの両方を訪問する必要がある。

And if they want to trace data reliability alerts to the DAGs that generated the data, they need to try to integrate their data reliability tool with their orchestrator.

また、データの信頼性アラートを、そのデータを生成したDAGまでトレースしたい場合は、データ信頼性ツールをオーケストレーターと統合する必要がある。

This usually means contending with query-tagging schemes that are fragile to contain data, configure, and maintain.

これは通常、データを格納し、構成し、維持するのが容易でないクエリー・タギング・スキームと戦うことを意味する。

At Dagster Labs, we believe orchestration and data reliability go hand-in-hand.

Dagster Labsでは、オーケストレーションとデータの信頼性は両立すると考えている。

Dagster's asset-oriented approach to data orchestration enables Dagster Plus to offer a full set of data reliability features.

データ・オーケストレーションに対するDagsterのアセット指向のアプローチにより、Dagster Plusはデータ信頼性機能のフルセットを提供することができる。

These help you monitor the freshness of your data, the quality of your data, and changes to the schema of your data.

これらは、データの鮮度、データの品質、データのスキーマの変更を監視するのに役立ちます。

Dagster helps monitor both the source data that feeds your pipelines and the data produced by your pipelines.

Dagsterは、パイプラインに供給するソース・データとパイプラインによって生成されるデータの両方を監視するのに役立ちます。

Monitoring source data helps you find out early if your pipeline is going to run on stale, bad, or unexpected data.

ソース・データを監視することで、パイプラインが古いデータ、悪いデータ、予期しないデータで実行されようとしていないかを早期に発見することができる。

And monitoring output data helps you ensure that the final product is on time and high-quality.

また、出力データを監視することで、最終製品の納期と品質を確保することができます。

At the center of Dagster's data reliability stack is a feature called asset checks.

Dagsterのデータ信頼性スタックの中心は、アセット・チェックと呼ばれる機能である。

An asset check is responsible for determining whether a data asset meets some property, such as whether it contains the expected set of columns, contains no duplicate records, or is sufficiently fresh.

アセット・チェックは、データ・アセットが期待されるカラム・セットを含んでいるか、重複レコードがないか、十分に新しいかなど、あるプロパティを満たしているかどうかを判断する役割を担っています。

Asset checks can be executed in line with data pipelines or scheduled to execute independently.

資産チェックは、データパイプラインに合わせて実行することも、独立して実行するようにスケジュールすることもできる。

Optionally, Dagster can halt your data pipeline when an asset check fails to avoid propagating bad data.

オプションとして、Dagsterはアセットチェックが失敗したときにデータパイプラインを停止し、不良データの伝播を回避することができます。

Asset checks were introduced as an experimental feature last year, and we've marked them as generally available in Dagster's recent 1.7 release.

アセットチェックは昨年、実験的な機能として導入されましたが、Dagsterの最近の1.7リリースで一般的に利用できるようになりました。