Delta Live Tablesパイプラインでのデータの読み取りと書き込み

Delta Live Tablesパイプラインで作成されたデータは、外部のデータガバナンスシステムにデータセットを公開することで、Delta Live Tablesの外部で検索やクエリを利用できるようにすることができます。また、外部のデータガバナンスシステムが管理するデータをパイプラインのソースデータとして使用することもできます。この記事では、サポートされているデータガバナンスソリューションの概要と、Delta Live Tablesでこれらのソリューションを使用するための詳細情報を提供する記事へのリンクを示します。

Delta Live Tablesで作成されたすべてのテーブルとビューは、デフォルトではパイプラインに対してローカルです。出力データセットをパイプラインの外で利用できるようにするには、データセットを公開する必要があります。パイプラインからの出力データを保持し、検出可能でクエリできるようにするために、Delta Live TablesはUnity CatalogとHive metastoreをサポートしています。Unity CatalogまたはHive metastoreに保存されているデータを、Delta Live Tablesのソースデータとして使用することもできます。

このセクションの記事では、データガバナンスソリューションを使用してパイプラインでデータを読み書きする方法について詳しく説明します。

Unity Catalogを使用してDelta Live Tablesパイプラインでデータの読み取りと書き込みを行う (パブリックプレビュー)

Unity Catalogは、Databricks Platformのデータガバナンスソリューションであり、Delta Live Tablesパイプラインからの出力データセットを管理するための推奨方法です。パイプラインのデータソースとしてUnity Catalogを使用することもできます。Unity Catalogをパイプラインで使用する方法については、Unity CatalogをDelta Live Tablesパイプラインで使用するを参照してください。

Delta Live TablesパイプラインからHive metastoreにデータを公開する

また、Hive metastoreを使用してソースデータをDelta Live Tablesパイプラインに読み込ませ、パイプラインから出力データを公開して外部システムで使用できるようにすることもできます。「Delta Live TablesからHive Metastoreへのデータの公開」を参照してください。