Unity Catalog とレガシー Hive metastore を操作する

この記事では、Databricks ワークスペースで Unity Catalog が有効になっている場合に、ワークスペースごとの Hive metastore を使用する方法について説明します。

Unity Catalogが有効になる前にワークスペースが稼働していた場合は、引き続き使用するデータを含む Hive metastore が含まれている可能性があります。Databricks では、 Hive metastore によって管理されるテーブルを Unity Catalog メタストアに移行することをお勧めしますが、移行しない場合は、両方のメタストアによって管理されるデータを操作する方法について説明します。

Unity Catalog における Hive metastore へのクエリ

Unity Catalog メタストアは付加的であり、Databricks のワークスペースごとの Hive metastore で使用できます。Hive metastore は、3 レベルの名前空間に hive_metastore という最上位のカタログとして表示されます。

たとえば、次の表記を使用して、レガシ Hive metastore の sales スキーマで sales_raw というテーブルを参照できます。

SELECT * from hive_metastore.sales.sales_raw;

display(spark.table("hive_metastore.sales.sales_raw"))

library(SparkR)

display(tableToDF("hive_metastore.sales.sales_raw"))

display(spark.table("hive_metastore.sales.sales_raw"))

カタログとスキーマを USE ステートメントで指定することもできます。

USE hive_metastore.sales;
SELECT * from sales_raw;

spark.sql("USE hive_metastore.sales")
display(spark.table("sales_raw"))

library(SparkR)

sql("USE hive_metastore.sales")
display(tableToDF("sales_raw"))

spark.sql("USE hive_metastore.sales")
display(spark.table("sales_raw"))

Unity Catalog および Hive metastore におけるアクセス制御

Hivemetastore でテーブルアクセスコントロールを構成した場合、Databricks は、共有アクセスモードで実行されているクラスターのカタログ内のデータに対してこれらのアクセス制御を引き続き適用します。 hive_metastore Unity Catalog アクセスモデルは、 DENY ステートメントがないなどの従来のアクセス制御とは若干異なります。Hive metastore はワークスペースレベルのオブジェクトです。hive_metastore カタログ内で定義されたアクセス許可は、常にワークスペース内のローカルユーザーとグループを参照します。「テーブルアクセスコントロールとの違い」を参照してください。

テーブルアクセスコントロールとの違い

Unity Catalog には、各ワークスペースのレガシ Hive metastore でテーブルアクセスコントロールを使用する場合と次の主な違いがあります。

Unity Catalog のアクセス制御モデルには、テーブルアクセスコントロールと次の違いがあります。

Unity Catalog オブジェクトと Hive metastore オブジェクト間の結合

3 レベルの名前空間表記を使用すると、 Unity Catalog メタストア内のデータをレガシ Hive metastore内のデータと結合できます。

注

従来の Hive metastore のデータとの結合は、そのデータが存在するワークスペースでのみ機能します。このような結合を別のワークスペースで実行しようとすると、エラーが発生します。 Databricks では、従来のテーブルとビューを Unity Catalog にアップグレードすることをお勧めします。

次の例では、 order_id フィールドが等しい場合に、レガシ Hive metastore の sales_current テーブルと Unity Catalog メタストアの sales_historical テーブルを結合します。

SELECT * FROM hive_metastore.sales.sales_current
JOIN main.shared_sales.sales_historical
ON hive_metastore.sales.sales_current.order_id = main.shared_sales.sales_historical.order_id;

dfCurrent = spark.table("hive_metastore.sales.sales_current")
dfHistorical = spark.table("main.shared_sales.sales_historical")

display(dfCurrent.join(
  other = dfHistorical,
  on = dfCurrent.order_id == dfHistorical.order_id
))

library(SparkR)

dfCurrent = tableToDF("hive_metastore.sales.sales_current")
dfHistorical = tableToDF("main.shared_sales.sales_historical")

display(join(
  x = dfCurrent,
  y = dfHistorical,
  joinExpr = dfCurrent$order_id == dfHistorical$order_id))

val dfCurrent = spark.table("hive_metastore.sales.sales_current")
val dfHistorical = spark.table("main.shared_sales.sales_historical")

display(dfCurrent.join(
  right = dfHistorical,
  joinExprs = dfCurrent("order_id") === dfHistorical("order_id")
))

デフォルトカタログ

既定のカタログは、Unity Catalog に対して有効になっているワークスペースごとに構成されます。

データ操作を実行するときに最上位のカタログ名を省略すると、デフォルトカタログが想定されます。

ワークスペース用に最初に構成された既定のカタログは、ワークスペースが Unity Catalog に対してどのように有効になったかによって異なります。

ワークスペースで Unity Catalog が自動的に有効になっている場合、ワークスペースカタログは既定の カタログ として設定されています。「 Unity Catalog の自動有効化」を参照してください。
ワークスペースで Unity Catalog を手動で有効にした場合、 hive_metastore カタログが既定のカタログとして設定されました。

既存のワークスペース内で Hive metastore から Unity Catalog に移行する場合は、通常、 Hive metastoreを参照する既存のコードに影響を与えないように、既定のカタログとして hive_metastore を使用するのが理にかなっています。

デフォルトカタログを取得して切り替える方法については、「デフォルトカタログの管理」を参照してください。

クラスタースコープのデータアクセス許可

Hive metastore を Unity Catalogと一緒に使用すると、クラスターに関連付けられたデータアクセス資格情報は、 Hive metastore データへのアクセスに使用されますが、 Unity Catalogに登録されているデータには使用されません。

ユーザーが Unity Catalog の外部にあるパス (テーブルまたは外部ロケーションとして登録されていないパスなど) にアクセスする場合は、クラスターに割り当てられたアクセス資格情報が使用されます。

「 Amazon S3 への接続」を参照してください。

レガシーテーブルを Unity Catalog にアップグレードする

Hive metastore 内のテーブルは、組み込みの監査やアクセス制御など、Unity Catalog に導入されたセキュリティおよびガバナンス機能の完全なセットの恩恵を受けません。Databricks では、レガシテーブルを Unity Catalogに追加してアップグレードすることをお勧めします。