Genie ZeroOps

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから Genie ZeroOps を有効にする必要があります。Databricksのプレビューを管理を参照してください。

Genie ZeroOpsは、ジョブ、パイプライン、テーブルを監視するバックグラウンドエージェントです。障害やデータ品質の問題を検出し、根本原因を特定して、修正案を提案します。DatabricksのAIエクスペリエンスであるGenieファミリーの一部です。Genie Codeはプロンプトを入力すると応答しますが、Genie ZeroOpsはプロンプトなしで継続的に実行され、対応が必要な問題を提示します。

Genie ZeroOpsのセットアップと、それが生成する知見の活用方法については、Genie ZeroOpsの起動方法を参照してください。

Genie ZeroOpsの機能

データチームは、障害やデータ品質問題のソースを見つけるために多大な時間を費やしています。ジョブの失敗、テーブルの陳腐化、またはアップストリームのスキーマ変更によるダウンストリームテーブルの破損が発生した場合、エンジニアはリネージ、パイプライングラフ、およびランLogsを追跡して何が起こったのかを把握します。

Genie ZeroOpsがこの作業を代行します。これは、あなたが担当するアセット全体でバックグラウンドでランし、以下の3つのステップに従って問題を見つけて修正します。

1. 検出 : 失敗したジョブやパイプライン、成功しても古いテーブルや不完全なテーブルを作成したジョブ、およびデータが古いか欠落しているテーブルを特定します。
2. 根本原因分析 ：各問題について、コードの変更、スキーマの変更、アップストリームの障害など、根本的な原因を特定します。
3. 解決策 : 修正案を提示し、変更を行うノートブックなどのソースにLinkします。Gitリポジトリからコードを実行するジョブの場合、Genie ZeroOpsは、要求時に修正を新しいBranchまたは名前付きBranchにプッシュして、プルリクエストを開くこともできます。

Genie ZeroOpsがアセットを監視し、知見を報告する方法

Genie ZeroOpsをワークスペースで構成し、所有するジョブやスキーマなど、モニタリングする対象を選択します。これは、OWNER、CAN MANAGE、またはCAN VIEW権限を持つジョブ、パイプライン、テーブルをモニタリングできます。このスコープはいつでも変更できます。

Genie ZeroOpsは、調査結果を 知見 として表示します。知見は受信トレイに表示されます。そこで知見を確認し、提案された修正に従い、知見を解決済みとしてマークします。新しい知見の通知を設定することもできます。

各知見には以下が含まれます：

• 検出された内容の説明。
• 問題の根本原因。
• 提案された修正と、変更を行う場所のソースへのLink。

通知

Genie ZeroOpsは、知見が受信トレイに最初に表示されたときに通知できます。SlackやPagerDutyなど、複数の宛先タイプをサポートしています。通知を構成するを参照してください。

注記

通知はDatabricks外のシステムに情報を送信し、AIが生成したテキストに知見の詳細が含まれます。外部システムに保存されたコピーは、Databricksの保持および削除管理の対象外です。

Git連携

ジョブは、GitソースまたはGitからデプロイされたバンドルを通じてGitリポジトリからコードを実行できます。そのようなジョブが失敗すると、Genie ZeroOpsはリポジトリを読み取り、根本原因を見つけます。修正がコードの変更である場合、Genie ZeroOpsは変更を準備します。あなたが依頼すると、変更は新しいBranchまたはあなたが名前を付けたBranchにプッシュされ、プルリクエストを開くことができます。修正からプルリクエストを作成するを参照してください。

Genie ZeroOpsは、Git認証情報でリポジトリを読み取ります。Git認証情報を追加するには、「Git認証情報の追加」を参照してください。

データ処理

Genie ZeroOpsが監視するアセットを選択すると、Genie ZeroOpsを無効にするまで、Databricksが大規模言語モデルを使用してそれらを継続的かつ自律的に処理することになります。Gitリポジトリからコードを実行するジョブの場合、Genie ZeroOpsが処理するデータにはリポジトリの内容が含まれます。調査中に、Genie ZeroOpsはアクセス権のあるテーブルをクエリーすることもあります。

Genie ZeroOpsは、Databricksセキュリティ境界内でDatabricksがホストするEndpointを使用して、Databricks上のAnthropicおよびOpenAIモデルを利用します。

: 通知に知見のタイトルや概要が含まれる前に、Genie ZeroOpsは、そのテキストで名前やEメールアドレスなどの機密情報がないかを確認し、見つかったものをマスクします。: このチェックは、ワークスペースの地域間処理設定に従います。: ワークスペース管理者が 指定サービスでワークスペース地域内でのデータ処理を強制する を無効にした場合、チェックが米国でランされる可能性があります。

権限と可視性

Genie ZeroOpsは、設定ユーザーがアクセス権を持つアセットに対してのみ知見を生成します。defaultでは、これらの知見はGenie ZeroOpsを設定したユーザーのみが閲覧できます。

Genie ZeroOps設定をワークスペース内の他のユーザーと共有すると、他のユーザーはその知見に取り組むことができます。共有相手のユーザーは、基になるアセットへのアクセス権がない場合でも、それらの知見に含まれるコードの抜粋、提案された修正、およびサンプルデータの行を表示できます。Genie ZeroOps設定の共有を参照してください。

ガードレール

Genie ZeroOpsは、あなたが変更を承認しない限り、本番運用データやコードを変更しません。修正を提案してソースへのリンクを提供します。修正はユーザー自身で適用するか、Genie Codeをプロンプトするか、Gitリポジトリからコードを実行するジョブの場合は、Genie ZeroOpsにプッシュを依頼できます。

Git リポジトリからコードを実行するジョブの場合、Genie ZeroOps はバックグラウンドでリポジトリに書き込みません。修正をプッシュするのは、ユーザーが明示的に要求し、プッシュを確認した後に限られます。Genie ZeroOps は修正を commit し、それを新しい Branch 、またはユーザーが指定する Branch にプッシュします。プッシュは強制プッシュではなく新しい commit を追加するため、既存の Branch の履歴を書き換えることはありません。Genie ZeroOps は、Git プロバイダーでプルリクエストを開くための Link を提供し、変更が通常のレビュープロセスを経るようにします。

警告

リポジトリの default Branch を指定すると、Genie ZeroOps はその Branch に直接修正を commit し、変更はプルリクエストのレビューをスキップします。レビューを必須にするには、デフォルトのdefaultのBranchへの直接プッシュをブロックするBranch保護ルールをGitプロバイダーに設定してください。

制限事項

• Genie ZeroOpsをセットアップすると、結果の構成はアカウントに属します。最大25人のワークスペースユーザーと共有して、その知見に基づいて作業できます。グループやService Principalと共有することはできません。Genie ZeroOps構成の共有を参照してください。
• Genie ZeroOpsは、ジョブ、パイプライン、およびテーブルを監視します。モデルやアプリなど、他のアセットタイプは監視しません。
• Genie ZeroOpsは、ジョブやパイプラインの障害、およびデータ品質の問題を検出します。パフォーマンスやコストの回帰は検出されません。
• Genie ZeroOpsはアカウントレベルではなく、ワークスペースレベルで動作します。
• Genie ZeroOpsはHIPPAに準拠していません。
• テーブルのデータ品質の問題を検出するには、個別に課金されるデータ品質モニタリングが必要です。