Databricks Assistant の影響を測定する
この記事では、導入、登録、および報告された生産性の向上の観点から、 Databricksアシスタントのインパクトを測定するための情報を提供します。
必要条件
Databricksアシスタントのインパクトを測定するには、次のものが必要です。
- システムテーブルを有効にするには、アカウント管理者権限が必要です。システムテーブルの有効化を参照してください。
- アシスタントに関する主観的なフィードバックをチームから得るための内部調査。
データ vs. メトリクス
システムテーブルと調査から生データを取得します。 アシスタントのインパクトを理解するには、データをメトリクスとして分析し、レポートする必要があります。 メトリクスは、アシスタントのインパクトに関連する特定の側面やアクティビティを測定するために使用する計算値です。 この記事では、メトリクスを 計測値 とも呼んでいます。
アシスタントの影響を測定するためのヒント
組織で Databricksアシスタントがどのように使用されているかを理解するには、まず Databricksアシスタント による導入とエンゲージメントを測定することから始めます。 このデータは、システムテーブルから計算できます。
データを定期的に確認し、共有ダッシュボードで簡単に利用できるようにします。ダッシュボードの例とテンプレートについては、「 Databricks Assistant システムテーブルのリファレンスと例」を参照してください。
Assistant impact メトリクス
以下は、システムテーブルとユーザーフィードバックの両方から、アシスタントの影響の推奨される対策です。メトリクスの計算の例については、 GitHub から Assistant イベント ダッシュボード ファイル をダウンロードし、JSON で計算を読み取ります。ダッシュボード ファイルをインポートする方法については、「ダッシュボード ファイルのインポート」を参照してください
組織を調査することは、アシスタントとのエンゲージメントの有効性を理解するのにも役立ちます。「推奨されるアンケートの質問」を参照してください。
メジャー | 定義 | ステージ | データソース |
|---|---|---|---|
全体の上位ユーザー | 特定の期間にアシスタントと最も頻繁にやり取りするユーザー | 導入 | Databricks Assistantシステムテーブルのデータから計算します。 |
提出データ: ワークスペースごとと合計 | ワークスペースごと、アカウントごとにアシスタントに送信されたリクエストの数 | 導入 | Databricks Assistantシステムテーブルのデータから計算します。 |
日別・月別のアクティブユーザー数 | 特定の日に1+の提案を受け取って受け入れた、または1+チャットに参加したユニークユーザー。 | エンゲージメント | Databricks Assistantシステムテーブルのデータから計算します。 |
ワークスペースあたりのアクティブ ユーザー | 特定のワークスペース内でアシスタントと対話するユニーク ユーザー | エンゲージメント | Databricks Assistantシステムテーブルのデータから計算します。 |
Databricksアシスタントを使用した上位のジョブロール | 組織で特定された各ロールのユーザーのうち、アシスタントを使用している人の数 | エンゲージメント | |
アシスタントの上位タスク | アシスタントがサポートする最も一般的なタスク | エンゲージメント | |
アシスタントをどのくらいの頻度で使用しますか | ユーザーごとのアシスタントの使用頻度の自己報告 | エンゲージメント | |
アシスタントの使用の主な領域 | 自己申告の使用領域: SQL エディター、ノートブック、またはその両方 | エンゲージメント | |
アシスタントのヘルプに対するユーザーの満足度 | アシスタントの回答に対する自己申告の満足度 (1 から 5 のスケール) | ユーザー満足度 | |
ユーザーの生産性の向上 | アシスタントを使用して得られた生産性の自己申告による増加 (1 から 5 のスケール) | ユーザー満足度 | |
ユーザーがアシスタントを使用して節約する時間 | アシスタントを使用してタスクを完了することで節約された時間の割合は自己申告 | ユーザー満足度 |
推奨される調査の質問
システムテーブルは、組織が Databricksアシスタントをどのように使用しているかに関するすべての情報をキャプチャするわけではありません。 以下のようなアンケートの質問を使用して、組織でアシスタントがどのように使用されているかを理解してください。
-
あなたの役割は何ですか?組織内のロールを一覧表示する
-
アシスタントはどのくらいの頻度で使用しますか?
- 毎時
- 日次
- 週次
- 毎月
-
AIアシスタントはどこで使用しますか?
- SQLエディタ
- ノートブック
- 両方とも
-
アシスタントの主なユースケースは何ですか?
- エラーの修正/トラブルシューティング
- コードの記述を支援する
- コードリファクタリング
- SQL クエリの記述
- 単体テストの記述
- ドキュメントの検索
-
アシスタントの回答にどの程度満足していますか?スケール1〜5、満足していない、非常に満足している
-
AIアシスタントを使用してから、生産性が向上したと思いますか?1〜5のスケール、生産性がはるかに低いものからはるかに高い生産性
-
アシスタントを使用して平均的なタスクでどれだけの時間を節約できると思いますか?
- 0-10%
- 10-30%
- 30-50%
- 50-70%
- 70%以上