タグを使用した属性の使用

この記事では、カスタムタグとデフォルトタグを使用して、ワークロードを特定のワークスペース、チーム、プロジェクト、およびユーザーに帰属させる方法について説明します。

コストを監視し、 Databricks 使用量を正確に属性付けするために、ワークロードとコンピュートリソースにカスタムタグを追加できます。 Databricks では、システムテーブルを使用して使用状況データを表示することをお勧めします。「課金利用システムテーブルリファレンス」を参照してください。

これらのタグは、使用状況ログと、コスト分析のために AWS EC2 および AWS EBS インスタンスの両方に伝播されます。注 : タグデータはグローバルにレプリケートできます。リソースのセキュリティを損なう可能性のあるタグ名や値は使用しないでください。たとえば、個人情報や機密情報を含むタグ名は使用しないでください。

タグ付けされたオブジェクトとリソース

Databricks によって管理される次のオブジェクトにカスタムタグを追加できます。

オブジェクト	タグ付けインターフェイス (UI)	タグ付けインターフェイス (API)
ワークスペース	N/A	アカウント API
プール	Databricks ワークスペースのプール UI	インスタンスプール API
All-purposeとジョブコンピュート	Databricks ワークスペースのコンピュート UI	クラスター API
SQLウェアハウス	Databricks ワークスペースの SQL ウェアハウス UI	ウェアハウス API

警告

キー Name を持つカスタムタグをクラスターに割り当てないでください。すべてのクラスターには、 Databricksによって値が設定されるタグ Name があります。キー Name に関連付けられた値を変更すると、クラスターは Databricksで追跡できなくなります。その結果、クラスターはアイドル状態になった後に終了せず、引き続き使用コストが発生します。

デフォルトのタグ

Databricks は、次のデフォルトタグを汎用コンピュートに追加します。

タグキー	値
`Vendor`	定数値: `Databricks`
`ClusterId`	Databricks クラスターの内部 ID
`ClusterName`	クラスターの名前
`Creator`	クラスターを作成したユーザーのユーザー名(Eメールアドレス)

ジョブクラスターでは、 Databricks は次のデフォルトタグも適用します。

タグキー	値
`RunName`	ジョブ名
`JobId`	ジョブID

Databricks 、すべてのプールに次のデフォルトタグを追加します。

タグキー	値
`Vendor`	定数値: `Databricks`
`DatabricksInstancePoolCreatorId`	プールを作成したユーザーの Databricks 内部 ID
`DatabricksInstancePoolId`	プールの Databricks 内部 ID

レイクハウスモニタリングで使用されるコンピュートでは、Databricks は次のタグも適用します。

タグキー	値
`LakehouseMonitoring`	True
`LakehouseMonitoringTableId`	監視対象のテーブルの ID
`LakehouseMonitoringWorkspaceId`	モニターが作成されたワークスペースの ID
`LakehouseMonitoringMetastoreId`	監視対象テーブルが存在するメタストアの ID

Tag サーバレスコンピュート workloads

備考

プレビュー

この機能はパブリックプレビュー段階です。

サーバレスコンピュートの使用状況をユーザー、グループ、またはプロジェクトに帰属させるには、サーバレス予算ポリシーを使用できます。ユーザーにサーバレス予算ポリシーが割り当てられると、そのユーザーのサーバレス usage はポリシーのタグで自動的にタグ付けされます。「サーバレス予算ポリシーでの属性の使用」を参照してください。

タグの伝播

タグは、クラスターがプールから作成されたかどうかによって、 AWS EC2 インスタンスに異なる方法で伝達されます。

クラスターとプールタグの伝播

クラスターがプールから作成された場合、その EC2 インスタンスは、クラスタータグではなく、カスタムおよびデフォルトワークスペースタグとプールタグのみを継承します。したがって、プールからクラスターを作成する場合は、必要なすべてのカスタムクラスタータグをワークスペースまたはプールに割り当ててください。

クラスターがプールから作成されていない場合、そのタグは EC2 インスタンスに期待どおりに伝播されます。

クラスタータグとプールタグはどちらも、クラスターがプールから作成されたかどうかに関係なく、 DBU 使用状況レポートに反映されます。

タグ名の競合がある場合は、 Databricks デフォルトタグがカスタムタグよりも優先され、プールタグがクラスタータグよりも優先されます。

制限

タグのキーと値には、文字、スペース、数字、または文字 +、 -、 =、 .、 _、 :、 /、 @のみを含めることができます。他の文字を含むタグは無効です。
タグキーの名前または値を変更した場合、これらの変更はクラスターの再起動またはプールの拡張後にのみ適用されます。
クラスターのカスタムタグがクラスタープールのカスタムタグと競合する場合、クラスターは作成できません。
変更後にカスタムワークスペースタグが反映されるまでに最大 1 時間かかる場合があります。
ワークスペースリソースに割り当てることができるタグは 20 個までです。

タグ付けのベストプラクティス

タグは手動で入力できるため、組織ではキーと値のペアを標準化する必要があります。 Databricks では、すべてのユーザーと共有できるキーと値の命名に関するビジネスポリシーを作成することをお勧めします。
すべてのリソースには、使用量をビジネスユニットまたはプロジェクトに帰属させる一般的なキーでタグ付けする必要があります。たとえば、財務チームが年間予算用に作成したジョブコンピュートリソースには、 business-unit:finance タグと project:annual-budgetタグが含まれる場合があります。
より詳細な知見を得るには、特異性の高いキーを使用してタグを割り当てます。たとえば、ロール、製品、サービス、または顧客に基づいてキーを作成できます。
該当する場合、ワークスペース管理者は、コンピュートポリシーとサーバレス予算ポリシーを使用してタグを適用する必要があります。カスタムタグの適用をご覧ください。

IAMロールによるタグの強制

コンピュートIAM リソースの作成時に特定のタグが常に入力されるようにするには、アカウントのプライマリIAM ロール (アカウントのセットアップ中に作成されたロール、アクセスが必要な場合はAWS 管理者に問い合わせる) に特定のポリシーを適用できます。IAM ポリシーには、必須のタグキーとオプションの値に対する明示的な Deny ステートメントを含める必要があります。許可された値のいずれかを持つ必要なタグが指定されていない場合、 クラスターの作成は失敗します 。

たとえば、Department タグと Project タグを強制し、前者には指定された値のみを許可し、後者には空でない自由形式の値を設定する場合は、次のような IAM ポリシーを適用できます。

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "MandateLaunchWithTag1",
      "Effect": "Deny",
      "Action": ["ec2:RunInstances", "ec2:CreateTags"],
      "Resource": "arn:aws:ec2:region:accountId:instance/*",
      "Condition": {
        "StringNotEqualsIgnoreCase": {
          "aws:RequestTag/Department": ["Deptt1", "Deptt2", "Deptt3"]
        }
      }
    },
    {
      "Sid": "MandateLaunchWithTag2",
      "Effect": "Deny",
      "Action": ["ec2:RunInstances", "ec2:CreateTags"],
      "Resource": "arn:aws:ec2:region:accountId:instance/*",
      "Condition": {
        "StringNotLike": {
          "aws:RequestTag/Project": "?*"
        }
      }
    }
  ]
}

オンデマンドインスタンスのみ、スポットインスタンスのみ、またはその両方を持つクラスターが存在するシナリオを効果的にカバーするには、各タグに ec2:RunInstances アクションと ec2:CreateTags アクションの両方が必要です。

ヒント

Databricks では、タグごとに個別のポリシーステートメントを追加することをお勧めします。全体的なポリシーが長くなる可能性がありますが、デバッグは簡単です。ポリシーで使用できる演算子の一覧については、 IAM ポリシー条件演算子のリファレンスを参照してください。

IAM ポリシーによるクラスター作成エラーには、次のencoded error messageが表示されます。

Console

Cloud Provider Launch Failure: A cloud provider error was encountered while setting up the cluster.

このメッセージがエンコードされるのは、認証状況の詳細が、アクションを要求したユーザーには表示されない特権情報を構成する可能性があるためです。このようなメッセージをデコードする方法については、「DecodeAuthorizationMessage API (または CLI) を参照してください。

タグ付けされたオブジェクトとリソース​

デフォルトのタグ​

Tag サーバレス コンピュート workloads​

タグの伝播​

制限​

タグ付けのベストプラクティス​

IAMロールによるタグの強制​