Genie ZeroOps

備考

プレビュー

この機能は プライベート プレビュー段階です。試用については、Databricksの担当者にお問い合わせください。

Genie ZeroOpsは、ジョブ、パイプライン、テーブルを監視し、障害やデータ品質の問題を検出し、根本原因を特定して修正案を提示するバックグラウンドエージェントです。これは、DatabricksにおけるGenieファミリーのAIエクスペリエンスの一部です。

Genie ZeroOpsのセットアップと、それが生成する知見の活用方法については、Genie ZeroOpsの起動方法を参照してください。

Genie ZeroOpsの機能

データチームは、障害やデータ品質問題のソースを見つけるために多大な時間を費やしています。ジョブの失敗、テーブルの陳腐化、またはアップストリームのスキーマ変更によるダウンストリームテーブルの破損が発生した場合、エンジニアはリネージ、パイプライングラフ、およびランLogsを追跡して何が起こったのかを把握します。

Genie ZeroOpsがこの作業を代行します。これは、担当するアセット全体でバックグラウンドで実行され、以下の4つのステップに従って問題の発見と修正を支援します。

1. 検出 : 失敗したジョブやパイプライン、成功しても古いテーブルや不完全なテーブルを作成したジョブ、およびデータが古いか欠落しているテーブルを特定します。
2. 根本原因分析 ：各問題について、コードの変更、スキーマの変更、アップストリームの障害など、根本的な原因を特定します。
3. 影響分析 ：問題が影響を及ぼす下流アセットを表示し、最も重要な問題に優先順位を付けられるようにします。
4. 解決策 : 修正案を提示し、変更を行うソース（ノートブックなど）へのリンクを提供します。

仕組み

ワークスペースでGenie ZeroOpsを設定し、所有するジョブやスキーマなど、モニタリング対象を選択します。OWNER、CAN MANAGE、またはCAN VIEWの権限を持つジョブ、パイプライン、およびテーブルをモニタリングできます。このスコープはいつでも変更できます。

Genie ZeroOpsは、検出結果を 知見 にグループ化します。知見は、単一の問題とその共通の根本原因を説明します。1つの根本原因が複数のアセットに影響を与える場合、Genie ZeroOpsはそれぞれを個別に報告するのではなく、それらを1つの知見にグループ化します。知見はインボックスに表示されます。そこで知見をレビューし、提案された修正に従い、解決まで追跡します。

各知見には以下が含まれます：

• 検出された内容の説明。
• 問題の根本原因。
• この問題が影響を与える下流アセット。
• 提案された修正と、変更を行う場所のソースへのLink。

データ処理

Genie ZeroOpsで監視するアセットを選択すると、Genie ZeroOpsを無効にするまで、Databricksが大規模言語モデルを使用してそれらを継続的かつ自律的に処理することを選択したことになります。

Genie ZeroOpsは、Databricks上のAnthropicによって駆動されており、Databricksのセキュリティ境界内でDatabricksがホストするEndpointを使用します。

権限と可視性

アセットの知見を表示するには、そのアセットに対する少なくともCAN VIEW権限が必要です。これらはGenie ZeroOpsのセットアップに必要な権限と同じであり、他のユーザーは権限のないアセットの知見を見ることはできません。

知見は表示できても、Genie ZeroOpsが根本原因として特定したアセットを表示できない場合、Genie ZeroOpsはアクセス権のない情報をマスクします。アップストリームのアセット名を指定する代わりに、アップストリームのジョブまたはパイプラインが失敗したことを報告します。

ガードレール

Genie ZeroOpsは、人の確認なしに本番運用のデータやコードを変更することはありません。修正案を提示し、ソースへのリンクを提供しますが、修正の生成はユーザー自身が行うか、Genie Codeへのプロンプトを通じて行い、その後、通常のワークフローで承認します。

制限事項

• Genie ZeroOps をセットアップすると、その結果として生成される構成と知見のモニタリングは、お客様のアカウントのみを対象とします。知見はワークスペース内の他のユーザーと共有されず、閲覧やフォローアップのために他のユーザーに再割り当てすることもできません。
• Genie ZeroOpsは、ジョブ、パイプライン、およびテーブルを監視します。モデルやアプリなど、他のアセットタイプは監視しません。
• Genie ZeroOpsは、ジョブやパイプラインの障害、およびデータ品質の問題を検出します。パフォーマンスやコストの回帰は検出されません。
• Genie ZeroOpsは、本番運用のサンドボックス内では修正の検証を行いません。
• Genie ZeroOpsはアカウントレベルではなく、ワークスペースレベルで動作します。
• Genie ZeroOpsはHIPPAに準拠していません。
• Genie ZeroOpsのプライベートプレビューは無料ですが、テーブルのデータ品質問題の検出にはデータ品質モニタリングが必要であり、これにはDatabricksの標準価格で別途請求が発生します。