Genie ZeroOps

備考

プレビュー

この機能は プライベート プレビュー段階です。試用については、Databricksの担当者にお問い合わせください。

Genie ZeroOpsは、ジョブ、パイプライン、テーブルを監視するバックグラウンドエージェントです。障害やデータ品質の問題を検出し、根本原因を特定して、修正案を提案します。DatabricksのAIエクスペリエンスであるGenieファミリーの一部です。Genie Codeはプロンプトを入力すると応答しますが、Genie ZeroOpsはプロンプトなしで継続的に実行され、対応が必要な問題を提示します。

Genie ZeroOpsのセットアップと、それが生成する知見の活用方法については、Genie ZeroOpsの起動方法を参照してください。

Genie ZeroOpsの機能

データチームは、障害やデータ品質問題のソースを見つけるために多大な時間を費やしています。ジョブの失敗、テーブルの陳腐化、またはアップストリームのスキーマ変更によるダウンストリームテーブルの破損が発生した場合、エンジニアはリネージ、パイプライングラフ、およびランLogsを追跡して何が起こったのかを把握します。

Genie ZeroOpsがこの作業を代行します。これは、あなたが担当するアセット全体でバックグラウンドでランし、以下の3つのステップに従って問題を見つけて修正します。

1. 検出 : 失敗したジョブやパイプライン、成功しても古いテーブルや不完全なテーブルを作成したジョブ、およびデータが古いか欠落しているテーブルを特定します。
2. 根本原因分析 ：各問題について、コードの変更、スキーマの変更、アップストリームの障害など、根本的な原因を特定します。
3. 解決策 : 修正案を提案し、ノートブックなどの変更を行うソースにリンクします。Git リポジトリからコードをランするジョブの場合、Genie ZeroOps は要求時に修正を新しい Branch にプッシュすることもできるため、プル要求を開くことができます。

Genie ZeroOpsがアセットを監視し、知見を報告する方法

Genie ZeroOpsをワークスペースで構成し、所有するジョブやスキーマなど、モニタリングする対象を選択します。これは、OWNER、CAN MANAGE、またはCAN VIEW権限を持つジョブ、パイプライン、テーブルをモニタリングできます。このスコープはいつでも変更できます。

Genie ZeroOpsは、調査結果を 知見 として表示します。知見は受信トレイに表示されます。そこで知見を確認し、提案された修正に従い、知見を解決済みとしてマークします。新しい知見の通知を設定することもできます。

各知見には以下が含まれます：

• 検出された内容の説明。
• 問題の根本原因。
• 提案された修正と、変更を行う場所のソースへのLink。

Git連携

ジョブは、GitソースまたはGitからデプロイされたバンドルを介して、Gitリポジトリからコードをランできます。このようなジョブが失敗した場合、Genie ZeroOpsはリポジトリを読み込んで根本原因を特定します。修正がコードの変更である場合、Genie ZeroOpsは変更を準備します。要求すると、変更が新しいBranchにプッシュされ、プル要求を開くことができるようになります。「修正からプルリクエストを作成する」を参照してください。

Genie ZeroOpsは、Git認証情報でリポジトリを読み取ります。Git認証情報を追加するには、「Git認証情報の追加」を参照してください。

データ処理

Genie ZeroOpsが監視するアセットを選択すると、Genie ZeroOpsを無効にするまで、Databricksが大規模言語モデルを使用してそれらを継続的かつ自律的に処理することになります。Gitリポジトリからコードを実行するジョブの場合、Genie ZeroOpsが処理するデータにはリポジトリの内容が含まれます。調査中に、Genie ZeroOpsはアクセス権のあるテーブルをクエリーすることもあります。

Genie ZeroOpsは、Databricksセキュリティ境界内でDatabricksがホストするEndpointを使用して、Databricks上のAnthropicおよびOpenAIモデルを利用します。

権限と可視性

Genie ZeroOpsは、設定ユーザーがアクセス権を持つアセットに対してのみ知見を生成します。defaultでは、これらの知見はGenie ZeroOpsを設定したユーザーのみが閲覧できます。

Genie ZeroOps設定をワークスペース内の他のユーザーと共有すると、他のユーザーはその知見に取り組むことができます。共有相手のユーザーは、基になるアセットへのアクセス権がない場合でも、それらの知見に含まれるコードの抜粋、提案された修正、およびサンプルデータの行を表示できます。Genie ZeroOps設定の共有を参照してください。

ガードレール

Genie ZeroOpsは、人間のレビューなしで本番運用データやコードを変更しません。修正を提案し、ソースにリンクします。ユーザー自身で修正を適用するか、Genie Codeをプロンプトするか、Gitリポジトリからコードを実行するジョブの場合は、Genie ZeroOpsにプッシュを要求できます。

Gitリポジトリのコードをランするジョブの場合、Genie ZeroOpsがバックグラウンドでリポジトリに書き込むことはありません。修正をプッシュするのは、明示的に依頼し、プッシュを確認した後のみです。その後、Genie ZeroOpsは修正をcommitし、新しいBranchにプッシュします。Gitプロバイダーでプルリクエストを開くためのLinkが提供され、変更は通常のレビュープロセスに進みます。

制限事項

• Genie ZeroOpsをセットアップすると、結果の構成はアカウントに属します。最大25人のワークスペースユーザーと共有して、その知見に基づいて作業できます。グループやService Principalと共有することはできません。Genie ZeroOps構成の共有を参照してください。
• Genie ZeroOpsは、ジョブ、パイプライン、およびテーブルを監視します。モデルやアプリなど、他のアセットタイプは監視しません。
• Genie ZeroOpsは、ジョブやパイプラインの障害、およびデータ品質の問題を検出します。パフォーマンスやコストの回帰は検出されません。
• Genie ZeroOpsはアカウントレベルではなく、ワークスペースレベルで動作します。
• Genie ZeroOpsはHIPPAに準拠していません。
• Genie ZeroOpsのプライベートプレビューは無料ですが、テーブルのデータ品質問題の検出にはデータ品質モニタリングが必要であり、これにはDatabricksの標準価格で別途請求が発生します。