パイプラインの ID、権限、特権を管理する
ID、権限、および特権は、パイプラインとそれらが生成するデータを誰が実行、管理、およびクエリできるかを制御します。
Databricks では、すべての新しいパイプラインに Unity Catalog を使用することをお勧めします。デフォルトでは、 Unity Catalogで設定されたパイプラインで作成されたマテリアライズドビューとストリーミングテーブルは、パイプライン所有者のみがクエリできます。 「パイプラインで Unity Catalog を使用する」を参照してください。
パイプラインがデータセットをレガシーHive metastoreに公開する場合は、レガシーHive metastoreでLakeFlow Pipelinesを使用するを参照してください。
ID 構成に関する一般的なベスト プラクティスについては、 「ID のベスト プラクティス」を参照してください。
パイプラインの更新にはどのような ID が使用されますか?
パイプラインは、 実行ユーザー の ID を使用して更新を処理します。defaultでは、実行ユーザーはパイプラインの作成者ですが、別のユーザー、Service Principal、またはアカウントグループに変更できます。実行者ユーザーの設定を参照してください。
グループとしてパイプラインを実行するには、実行者IDをグループに設定するを参照してください。
Databricks では、実行ユーザーをサービスプリンシパルに設定することをお勧めします。これにより、パイプラインの更新が個々のユーザーのアカウントに結び付けられることがなくなります。See サービスプリンシパル.
広範なアカウントレベルのアクセス権ではなく、パイプラインが必要とするUnity Catalogの権限のみをそのService Principalに付与します。例えば、ターゲットカタログに対して USE CATALOG 権限を、出力スキーマに対して USE SCHEMA および適切な CREATE 権限(CREATE MATERIALIZED VIEW または CREATE TABLE)を、そのソースに対して SELECT 権限を付与します。Unity Catalogへの発行に必要な権限の完全なセットについては、要件を参照してください。
パイプラインの更新を実行できるのは誰ですか?
パイプラインの更新は、CAN RUN、CAN EDIT、CAN MANAGE、または IS OWNER 権限を持つすべてのユーザーまたは Service Principal がランできます。
誰がパイプラインとその出力を表示できますか?
パイプラインを開いて詳細を表示するには、パイプラインに対する少なくとも CAN VIEW のアクセス許可が必要です。パイプラインのアクセス許可レベルの完全なリストと、それぞれが付与する機能については、LakeFlow Pipelines ACL を参照してください。
ストリーミングテーブルまたはマテリアライズドビューをサポートするパイプラインを表示するには、管理者以外のユーザーも、パイプラインに対する権限に加えて、そのストリーミングテーブルまたはマテリアライズドビューに対するREFRESH権限が必要です。REFRESH権限がない場合、パイプラインのURLには パイプラインが利用できません と表示されます。
パイプラインの権限を構成する
権限を管理するには、パイプラインに対するCAN MANAGEまたはIS OWNER権限が必要です。パイプラインはアクセス制御リスト (ACL) を使用して権限を制御します。権限とその機能の完全な一覧については、Lakeflow Pipelines ACLを参照してください。
- サイドバーで、 [ジョブとパイプライン] をクリックします。
- パイプラインの 名前 を選択します。
- 共有 をクリックします。 権限設定 ダイアログが表示されます。
- ユーザー、グループ、またはサービスプリンシパルの選択 をクリックし、ユーザー、グループ、またはサービスプリンシパルを選択します。
- 権限のドロップダウンメニューから権限を選択します。
- [ 追加 ] をクリックします。
- 保存 をクリックします。
パイプライン所有者を変更
デフォルトでは、パイプライン所有者は、パイプライン更新が実行される実行ユーザーでもあります。所有者を変更すると、今後の更新に使用されるIDが変更されます。
所有者を変更せずにパイプライン更新が実行されるIDを変更したい場合は、代わりに実行ユーザーを設定してください。実行ユーザーを設定するを参照してください。
パイプラインの所有者を変更するには、メタストア管理者とワークスペース管理者の両方である必要があります。UI または REST API を使用して、所有者を変更します。
UIを使用します
- サイドバーで、 [ジョブとパイプライン] をクリックします。
- パイプラインの**名前**を選択します。
- 共有 をクリックします。 権限設定 ダイアログが表示されます。
- 現在の所有者をクリアしてから、新しい所有者を選択します。所有者は、ユーザーまたはサービスプリンシパルにすることができます。Databricks はサービスプリンシパルをお勧めします。See サービスプリンシパル.
- 保存 をクリックします。
REST APIを使用してください
一部の内部管理パイプラインなど、UIで所有者コントロールが利用できない場合は、パイプライン権限の設定 REST API 操作で所有者を変更します。新しい所有者のIS_OWNER権限レベルでuser_name(サービスプリンシパルの場合はservice_principal_name)を指定します。
{
"access_control_list": [
{
"user_name": "new.owner@example.com",
"permission_level": "IS_OWNER"
}
]
}
ユーザーがメタストア管理者とワークスペース管理者の両方ではない場合
組織内にメタストア管理者とワークスペース管理者の両方がいない場合は、Databricksの担当者にお問い合わせいただき、パイプライン所有者を変更してください。
管理者以外のユーザーが Unity Catalog 対応パイプラインからドライバー ログを表示できるようにする
defaultでは、パイプラインの所有者とワークスペース管理者のみが、Unity Catalog 対応パイプラインをランするクラスターからのドライバー Logを表示できます。パイプライン設定の configuration オブジェクトに次の Spark 構成パラメーターを追加することで、CAN VIEW、CAN RUN、CAN EDIT、または CAN MANAGE のアクセス許可を持つ任意のユーザーのドライバー Log へのアクセスを有効にすることができます。
{
"configuration": {
"spark.databricks.acl.needAdminPermissionToViewLogs": "false"
}
}
Secret Scopeからの参照資格
パイプラインのソースコードにAPIキー、データベースパスワード、またはトークンをハードコーディングしないでください。それらをSecret Scopeに保存し、ランタイム時に参照します:
api_token = dbutils.secrets.get(scope="orders-pipeline-secrets", key="external_api_token")
Databricks は、ノートブックや Log の出力に表示される可能性のあるシークレット値([REDACTED])を自動的に伏字処理します。また、シークレット ACL を使用してスコープを読み取れるユーザーを制限できます。「シークレット管理」を参照してください。
パイプライン出力内の機密データを保護する
個人を特定できる情報(PII)を含む列については、パイプラインコードにカスタムマスキングロジックを記述するのではなく、パイプラインが生成するテーブルに Unity Catalog ガバナンスを適用してください:
- カラムマスクは 、クエリユーザーのグループメンバーシップに基づいてカラムの値を編集またはハッシュ化します。
- 行フィルター は、ユーザーが表示できる行を制限します。
Unity Catalog テーブルにこれらの制御を適用することで、パイプライン内だけでなく、ダッシュボード、アドホッククエリー、ダウンストリームジョブなど、テーブルのすべてのコンシューマーに対して個人識別情報(PII)を一貫して保護します。行フィルターと列マスクを参照してください。さらなるステップとして、アクセス権の付与や監査をより簡単に判断できるように、PII を明確に命名されたスキーマ内の特定のカラムやテーブルに分離しておきます。