Genie Codeによるモデルサービングの可観測性
備考
プレビュー
この機能は パブリック プレビュー段階です。
この記事ではGenie Code問題の診断、パフォーマンスの分析、モデルサービング エンドポイントのガイダンスの取得にどのように役立つかについて説明します。
要件
Genie Codeを使用してモデルサービングの可観測性を実現するには、ワークスペースに以下のものが必要です。
- パートナーが提供する AI 機能がアカウントとワークスペースの両方で有効になっていること。パートナーが提供する AI 機能をご覧ください。
- ワークスペースは、サポートされているリージョン内に配置する必要があります。Genie Codeは、Geosを使用してデータ所在地の管理を行う指定サービスです。Genie Code機能のGeo別利用可能状況については、こちらをご覧ください。
注記
Genie Code現在、カスタム モデルサービング エンドポイントのみをサポートしています。
Genie Codeはどのようなことに役立ちますか？
モデルサービング エンドポイント ページでGenie Code使用すると、それはモデルサービングの可観測性コンパニオンになります。 Genie Code ペインから、エンドポイントの状態分析、デプロイメントの失敗診断、レイテンシの問題調査、ベストプラクティスに関するガイダンスの提供などを行うことができます。
Genie Codeはこのモードでは読み取り専用のアドバイザーです。エンドポイントを検査して推奨事項を提供することはできますが、構成やデプロイメントを変更することはできません。明確な手順説明とドキュメントへのリンクが用意されているので、自分で変更を加えることができます。
さあ始めましょう
利用を開始するには以下の手順を踏みます。
- モデルビングサーのエンドポイントページに移動します。
- クリック
Genie Codeパネルを開きます。 - 右下隅で 「エージェント」 を選択します。これはGenie Codeのエージェントモードをオンにする切り替えです。
- どのようなことでお困りなのか、説明を入力してください。例えば、「このエンドポイントの状態を確認してください」や「なぜ私のレイテンシはこんなに高いのですか？」といった質問です。
機能
健康診断と診断
Genie Codeは、エンドポイントの状態と構成を分析して、潜在的な問題を特定できます。
- エンドポイントの健全性とデプロイメントの状態を確認します。
- ベストプラクティスに照らし合わせて設定を見直してください。
- 規模拡大とリソース利用状況を評価する。
トラブルシューティングと分析
Genie Codeは、エンドポイントに関する問題を解決するのに役立ちます。
- ビルドログ、イベント、エンドポイントの状態を使用して、デプロイメントの失敗を診断します。
- メトリクス、イベント、および推論テーブルデータを使用して、高遅延やタイムアウトの問題を調査します。
- サービスログと推論テーブルからエラーパターンを分析する。
- 設定ミスやリソースの制約を特定する。
- 現在および保留中の構成をリスク評価と比較する。
ガイダンスとベストプラクティス
Genie Codeは、エンドポイントの設定に基づいて推奨事項を提示します。
- 本番運用および開発ワークロードに最適なスケーリング構成を推奨します。
- 終点状態と遷移について説明してください。
- モニタリングと可観測性のセットアップについて説明します。
- Databricksを検索し、関連記事へのリンクを提供します。
ユースケース
まずは以下のプロンプトを試してみてください。
-
健康診断：
- 「このエンドポイントの状態を確認してください。」
- 「エンドポイントは正しく設定されていますか？」
- 「エンドポイントのスケーリング設定を確認してください。」
-
デプロイメントの失敗:
- 「/diagnose」または「デプロイが失敗した理由は何ですか？」
- 「デプロイエラーの修正を手伝ってください。」
- 「エンドポイントが保留状態のままになっています。」
-
レイテンシーのデバッグ:
- 「なぜ私のレイテンシはこんなに高いのですか？」
- 「今朝発生したレイテンシの急増を分析してください。」
- 「過去 24 時間のメトリクスのパフォーマンスを見せてください。」
-
設定レビュー：
- 「保留中の設定で何が変わったのですか？」
- 「私の同時実行設定は本番運用に適していますか?」
- 「推論テーブルの設定を見せてください。」
-
リクエスト履歴:
- 「このエンドポイントへの最近のリクエストを表示してください。」
- 「ユーザーはどのようなエラーに遭遇していますか？」
- 「先週のエラーパターンを分析してください。」