Genie ZeroOps

備考

プレビュー

この機能は プライベート プレビュー段階です。試用については、Databricksの担当者にお問い合わせください。

Genie ZeroOpsは、ジョブ、パイプライン、テーブルを監視するバックグラウンドエージェントです。障害やデータ品質の問題を検出し、根本原因を特定して、修正案を提案します。DatabricksのAIエクスペリエンスであるGenieファミリーの一部です。Genie Codeはプロンプトを入力すると応答しますが、Genie ZeroOpsはプロンプトなしで継続的に実行され、対応が必要な問題を提示します。

Genie ZeroOpsのセットアップと、それが生成する知見の活用方法については、Genie ZeroOpsの起動方法を参照してください。

Genie ZeroOpsの機能

データチームは、障害やデータ品質問題のソースを見つけるために多大な時間を費やしています。ジョブの失敗、テーブルの陳腐化、またはアップストリームのスキーマ変更によるダウンストリームテーブルの破損が発生した場合、エンジニアはリネージ、パイプライングラフ、およびランLogsを追跡して何が起こったのかを把握します。

Genie ZeroOpsがこの作業を代行します。これは、担当するアセット全体でバックグラウンドで実行され、以下の4つのステップに従って問題の発見と修正を支援します。

1. 検出 : 失敗したジョブやパイプライン、成功しても古いテーブルや不完全なテーブルを作成したジョブ、およびデータが古いか欠落しているテーブルを特定します。
2. 根本原因分析 ：各問題について、コードの変更、スキーマの変更、アップストリームの障害など、根本的な原因を特定します。
3. 影響分析 ：問題が影響を及ぼす下流アセットを表示し、最も重要な問題に優先順位を付けられるようにします。
4. 解決策 : 修正案を提案し、ノートブックなどの変更を行うソースにリンクします。Git リポジトリからコードをランするジョブの場合、Genie ZeroOps は要求時に修正を新しい Branch にプッシュすることもできるため、プル要求を開くことができます。

Genie ZeroOpsがアセットを監視し、知見を報告する方法

ワークスペースでGenie ZeroOpsを設定し、所有するジョブやスキーマなど、モニタリング対象を選択します。OWNER、CAN MANAGE、またはCAN VIEWの権限を持つジョブ、パイプライン、およびテーブルをモニタリングできます。このスコープはいつでも変更できます。

Genie ZeroOpsは、検出結果を 知見 にグループ化します。知見は、単一の問題とその共通の根本原因を説明します。1つの根本原因が複数のアセットに影響を与える場合、Genie ZeroOpsはそれぞれを個別に報告するのではなく、それらを1つの知見にグループ化します。知見はインボックスに表示されます。そこで知見をレビューし、提案された修正に従い、解決まで追跡します。

各知見には以下が含まれます：

• 検出された内容の説明。
• 問題の根本原因。
• この問題が影響を与える下流アセット。
• 提案された修正と、変更を行う場所のソースへのLink。

Git連携

ジョブは、GitソースまたはGitからデプロイされたバンドルを介して、Gitリポジトリからコードをランできます。このようなジョブが失敗した場合、Genie ZeroOpsはリポジトリを読み込んで根本原因を特定します。修正がコードの変更である場合、Genie ZeroOpsは変更を準備します。要求すると、変更が新しいBranchにプッシュされ、プル要求を開くことができるようになります。「修正からプルリクエストを作成する」を参照してください。

Genie ZeroOpsは、Git認証情報でリポジトリを読み取ります。Git認証情報を追加するには、「Git認証情報の追加」を参照してください。

データ処理

Genie ZeroOpsが監視するアセットを選択すると、Genie ZeroOpsを無効にするまで、Databricksが大規模言語モデルを使用して継続的かつ自律的にそれらを処理するようになります。Git リポジトリからコードを実行するジョブの場合、Genie ZeroOps が処理するデータには、リポジトリの内容が含まれます。

Genie ZeroOpsは、Databricks上のAnthropicによって駆動されており、Databricksのセキュリティ境界内でDatabricksがホストするEndpointを使用します。

権限と可視性

アセットの知見を表示するには、そのアセットに対する少なくともCAN VIEW権限が必要です。これらはGenie ZeroOpsのセットアップに必要な権限と同じであり、他のユーザーは権限のないアセットの知見を見ることはできません。

知見は表示できても、Genie ZeroOpsが根本原因として特定したアセットを表示できない場合、Genie ZeroOpsはアクセス権のない情報をマスクします。アップストリームのアセット名を指定する代わりに、アップストリームのジョブまたはパイプラインが失敗したことを報告します。

ガードレール

Genie ZeroOpsは、人間のレビューなしで本番運用データやコードを変更しません。修正を提案し、ソースにリンクします。ユーザー自身で修正を適用するか、Genie Codeをプロンプトするか、Gitリポジトリからコードを実行するジョブの場合は、Genie ZeroOpsにプッシュを要求できます。

Gitリポジトリのコードをランするジョブの場合、Genie ZeroOpsがバックグラウンドでリポジトリに書き込むことはありません。修正をプッシュするのは、明示的に依頼し、プッシュを確認した後のみです。その後、Genie ZeroOpsは修正をcommitし、新しいBranchにプッシュします。Gitプロバイダーでプルリクエストを開くためのLinkが提供され、変更は通常のレビュープロセスに進みます。

制限事項

• Genie ZeroOps をセットアップすると、その結果として生成される構成と知見のモニタリングは、お客様のアカウントのみを対象とします。知見はワークスペース内の他のユーザーと共有されず、閲覧やフォローアップのために他のユーザーに再割り当てすることもできません。
• Genie ZeroOpsは、ジョブ、パイプライン、およびテーブルを監視します。モデルやアプリなど、他のアセットタイプは監視しません。
• Genie ZeroOpsは、ジョブやパイプラインの障害、およびデータ品質の問題を検出します。パフォーマンスやコストの回帰は検出されません。
• Genie ZeroOpsは、本番運用のサンドボックス内では修正の検証を行いません。
• Genie ZeroOpsはアカウントレベルではなく、ワークスペースレベルで動作します。
• Genie ZeroOpsはHIPPAに準拠していません。
• Genie ZeroOpsのプライベートプレビューは無料ですが、テーブルのデータ品質問題の検出にはデータ品質モニタリングが必要であり、これにはDatabricksの標準価格で別途請求が発生します。