Databricks Assistant の影響を測定する
この記事では、導入、登録、および報告された生産性の向上の観点から、 Databricksアシスタントのインパクトを測定するための情報を提供します。
必要条件
Databricksアシスタントのインパクトを測定するには、次のものが必要です。
- システムテーブルを有効にするには、アカウント管理者権限が必要です。 システムテーブルの有効化を参照してください。
- アシスタントに関する主観的なフィードバックをチームから得るための内部調査。
データ vs. メトリクス
システムテーブルと調査から生データを取得します。 アシスタントのインパクトを理解するには、データをメトリクスとして分析し、レポートする必要があります。 メトリクスは、アシスタントのインパクトに関連する特定の側面やアクティビティを測定するために使用する計算値です。 この記事では、メトリクスを 計測値 とも呼んでいます。
アシスタントの影響を測定するためのヒント
組織で Databricksアシスタントがどのように使用されているかを理解するには、まず Databricksアシスタント による導入とエンゲージメントを測定することから始めます。 このデータは、システムテーブルから計算できます。
データを定期的に確認し、共有ダッシュボードで簡単に利用できるようにします。 ダッシュボードの例とテンプレートについては、「 Databricks Assistant システムテーブルのリファレンスと例」を参照してください。
Assistant impact メトリクス
以下は、システムテーブルとユーザーフィードバックの両方から、アシスタントの影響の推奨される対策です。 メトリクスの計算の例については、 GitHub から Assistant イベント ダッシュボード ファイル をダウンロードし、JSON で計算を読み取ります。 ダッシュボード ファイルをインポートする方法については、「ダッシュボード ファイルのインポート」を参照してください
組織を調査することは、アシスタントとのエンゲージメントの有効性を理解するのにも役立ちます。 「推奨されるアンケートの質問」を参照してください。
メジャー | 定義 | ステージ | データソース |
|---|---|---|---|
全体的にトップユーザー | 一定期間にアシスタントと最も頻繁にやり取りするユーザー | 導入 | Databricks Assistantシステムテーブルのデータから計算します。 |
提出データ: ワークスペースごとと合計 | ワークスペースごと、アカウントごとにアシスタントに送信されたリクエストの数 | 導入 | Databricks Assistantシステムテーブルのデータから計算します。 |
日と月別のアクティブユーザー数 | 特定の日に1+の提案を受け取って受け入れた、または1+チャットに参加したユニークユーザー。 | エンゲージメント | Databricks Assistantシステムテーブルのデータから計算します。 |
ワークスペースあたりのアクティブ ユーザー | 特定のワークスペース内でアシスタントと対話するユニーク ユーザー | エンゲージメント | Databricks Assistantシステムテーブルのデータから計算します。 |
Databricksアシスタントを使用した上位のジョブロール | 組織で特定された各ロールのユーザーのうち、アシスタントを使用している人の数 | エンゲージメント | |
アシスタントの上位タスク | アシスタントがサポートする最も一般的なタスク | エンゲージメント | |
アシスタントをどのくらいの頻度で使用しますか | ユーザーごとのアシスタントの使用頻度の自己報告 | エンゲージメント | |
アシスタントの使用の主な領域 | 自己申告の使用領域: SQL エディター、ノートブック、またはその両方 | エンゲージメント | |
アシスタントヘルプに対するユーザーの満足度 | アシスタントの回答に対する自己申告の満足度 (1 から 5 のスケール) | ユーザー満足度 | |
ユーザーの生産性の向上 | Assistantを使用して得られた生産性の向上を自己申告で1～5段階で評価しました | ユーザー満足度 | |
ユーザーがアシスタントを使用して節約する時間 | アシスタントを使用してタスクを完了することで節約された時間の割合は自己申告 | ユーザー満足度 |
推奨される調査の質問
システムテーブルは、組織が Databricksアシスタントをどのように使用しているかに関するすべての情報をキャプチャするわけではありません。 以下のようなアンケートの質問を使用して、組織でアシスタントがどのように使用されているかを理解してください。
-
あなたの役割は何ですか？ 組織内の役割をリストアップしてください
-
アシスタントはどのくらいの頻度で使用しますか?
- 毎時
- 日次
- 週次
- 毎月
-
AIアシスタントはどこで使用しますか?
- SQLエディタ
- ノートブック
- 両方
-
アシスタントの主なユースケースは何ですか?
- エラーの修正/トラブルシューティング
- コードを書くのを手伝ってください
- コードリファクタリング
- SQL クエリの記述
- ユニットテストを書く
- ドキュメントを検索しています
-
アシスタントの回答にどの程度満足していますか？ 1～5のスケールで、「満足」から「非常に満足」
-
AIアシスタントを使用してから、生産性が向上したと思いますか?1〜5のスケール、生産性がはるかに低いものからはるかに高い生産性
-
アシスタントを使用して平均的なタスクでどれだけの時間を節約できると思いますか?
- 0-10%
- 10-30%
- 30-50%
- 50-70%
- 70% 以上