Databricks Assistant の影響を測定する
この記事では、導入、登録、および報告された生産性の向上の観点から、 Databricks Assistant の影響を測定するための情報を提供します。
要件
Databricks Assistant の影響を測定するには、次のものが必要です。
システムテーブルを有効にするには、アカウント管理者権限が必要です。 システムテーブルの有効化を参照してください。
アシスタントに関する主観的なフィードバックをチームから得るための内部調査。
アシスタントの影響を測定するためのヒント
組織で Databricks Assistant がどのように使用されているかを理解するには、まず Databricks Assistant による導入とエンゲージメントを測定することから始めます。 このデータは、システムテーブルから計算できます。
データを定期的に確認し、共有ダッシュボードで簡単に利用できるようにします。 ダッシュボードの例とテンプレートについては、「 Databricks Assistant システムテーブルのリファレンスと例」を参照してください。
Assistant impact メトリクス
以下は、システムテーブルとユーザーフィードバックの両方から、アシスタントの影響の推奨される対策です。 メトリクスの計算の例については、 GitHub から Assistant イベント ダッシュボード ファイル をダウンロードし、JSON で計算を読み取ります。 ダッシュボード ファイルをインポートする方法については、「ダッシュボード ファイルのインポート」を参照してください
組織を調査することは、アシスタントとのエンゲージメントの有効性を理解するのにも役立ちます。 「推奨されるアンケートの質問」を参照してください。
測る |
定義 |
ステージ |
データソース |
---|---|---|---|
全体の上位ユーザー |
特定の期間にアシスタントと最も頻繁にやり取りするユーザー |
養子縁組 |
Databricks Assistantシステムテーブルのデータから計算します。 |
提出データ: ワークスペースごとと合計 |
ワークスペースごと、アカウントごとに Assistant に送信されたリクエストの数 |
養子縁組 |
Databricks Assistantシステムテーブルのデータから計算します。 |
日別・月別のアクティブユーザー数 |
特定の日に1+の提案を受け取って受け入れた、または1+チャットに参加したユニークユーザー。 |
婚約 |
Databricks Assistantシステムテーブルのデータから計算します。 |
ワークスペースあたりのアクティブ ユーザー |
特定のワークスペース内でアシスタントと対話するユニーク ユーザー |
婚約 |
Databricks Assistantシステムテーブルのデータから計算します。 |
Databricks Assistantを使用した上位のジョブロール |
組織で特定された各ロールのユーザーのうち、アシスタントを使用している人の数 |
婚約 |
|
アシスタントの上位タスク |
アシスタントがサポートする最も一般的なタスク |
婚約 |
|
アシスタントをどのくらいの頻度で使用しますか |
ユーザーごとのアシスタントの使用頻度の自己報告 |
婚約 |
|
アシスタントの使用の主な領域 |
自己申告の使用領域: SQL エディター、ノートブック、またはその両方 |
婚約 |
|
アシスタントのヘルプに対するユーザーの満足度 |
アシスタントの回答に対する自己申告の満足度 (1 から 5 のスケール) |
ユーザー満足度 |
|
ユーザーの生産性の向上 |
アシスタントを使用して得られた生産性の自己申告による増加 (1 から 5 のスケール) |
ユーザー満足度 |
|
ユーザーがアシスタントを使用して節約する時間 |
アシスタントを使用してタスクを完了することで節約された時間の割合は自己申告 |
ユーザー満足度 |
推奨される調査の質問
システムテーブルは、組織が Databricks Assistantをどのように使用しているかに関するすべての情報をキャプチャするわけではありません。 以下のようなアンケートの質問を使用して、組織でアシスタントがどのように使用されているかを理解してください。
あなたの役割は何ですか? 組織内のロールを一覧表示する
アシスタントはどのくらいの頻度で使用しますか?
毎時
日次
週次
毎月
AIアシスタントはどこで使用しますか?
SQLエディタ
ノートブック
両方とも
Assistantの主なユースケースは何ですか?
エラーの修正/トラブルシューティング
コードの記述を支援する
コードリファクタリング
SQL クエリの記述
単体テストの記述
ドキュメントの検索
アシスタントの回答にどの程度満足していますか? スケール1〜5、満足していない、非常に満足している
AIアシスタントを使用してから、生産性が向上したと思いますか? 1〜5のスケール、生産性がはるかに低いものからはるかに高い生産性
アシスタントを使用して平均的なタスクでどれだけの時間を節約できると思いますか?
0-10%
10-30%
30-50%
50-70%
70%以上