Medir o impacto do Databricks Assistant
Este artigo fornece informações sobre como medir o impacto do site Databricks Assistant em termos de adoção, engajamento e ganhos de produtividade relatados.
Requisitos
Para medir o impacto do Databricks Assistant, o senhor precisa:
privilégios de administrador da conta necessários para ativar as tabelas do sistema. Consulte Habilitar tabelas do sistema.
Uma pesquisa interna para obter feedback subjetivo da sua equipe sobre o Assistant.
Dados vs. métricas
O senhor obtém dados brutos das tabelas do sistema e de uma pesquisa. Para entender o impacto do Assistente, o senhor deve analisar e relatar os dados como métricas. As métricas são valores calculados que o senhor usa para medir aspectos ou atividades específicas relacionadas ao impacto do Assistente. Este artigo também se refere a métricas como medidas.
Dicas para medir o impacto do Assistente
Para entender como a sua organização está usando o Databricks Assistant, comece medindo a adoção e o envolvimento com o Databricks Assistant. Esses dados podem ser calculados a partir das tabelas do sistema.
Revise seus dados rotineiramente e disponibilize-os facilmente em um painel compartilhado. Para obter um exemplo de painel e padrão, consulte Databricks Assistant referência e exemplo de tabela do sistema.
Assistente de impacto métrico
A seguir estão as medidas recomendadas do impacto do Assistente, tanto nas tabelas do sistema quanto nos comentários dos usuários. Para obter exemplos de cálculos métricos, acesse download o arquivo do painel de eventos do Assistant em GitHub e leia os cálculos em JSON. Para saber como importar um arquivo de painel, consulte Importar um arquivo de painel
Pesquisar sua organização também ajuda você a entender a eficácia de seu envolvimento com o Assistant. Consulte Perguntas recomendadas da pesquisa.
Medida |
Definição |
Etapa |
Origem de dados |
---|---|---|---|
Principais usuários em geral |
Usuários em um determinado período que interagem com mais frequência com o Assistente |
Adoção |
Calcular a partir dos dados da tabela do sistema do Databricks Assistant. |
Dados de envios: por workspace e total |
Número de solicitações enviadas ao Assistente por workspace e por account |
Adoção |
Calcular a partir dos dados da tabela do sistema do Databricks Assistant. |
Usuários ativos por dia e mês |
Usuários únicos que receberam e aceitaram mais de 1 sugestão ou participaram de mais de 1 bate-papo em um determinado dia. |
Engajamento |
Calcular a partir dos dados da tabela do sistema do Databricks Assistant. |
Usuários ativos por workspace |
Usuários únicos em um determinado workspace que interagem com o Assistant |
Engajamento |
Calcular a partir dos dados da tabela do sistema do Databricks Assistant. |
Principais funções de trabalho usando Databricks Assistant |
Números de pessoas de cada função identificada em sua organização que usam o Assistant |
Engajamento |
|
Top tarefa for Assistant |
A tarefa mais comum com a qual o Assistant ajuda |
Engajamento |
|
Com que frequência você usa o Assistant |
Frequência autorrelatada de uso do Assistente por usuário |
Engajamento |
|
Principais áreas de uso do Assistente |
Áreas de uso declaradas pelo próprio usuário: SQL editor, Notebook ou ambos |
Engajamento |
|
A satisfação do usuário com a ajuda do Assistant |
Satisfação com as respostas do Assistente em uma escala de 1 a 5 |
satisfação do usuário |
|
Ganhos na produtividade do usuário |
Aumento de produtividade auto-relatado com o uso do Assistant em uma escala de 1 a 5 |
satisfação do usuário |
|
Quantidade de tempo que os usuários economizam usando o Assistente |
Porcentagem de tempo economizado com o uso do Assistant para realizar a tarefa |
satisfação do usuário |
Perguntas recomendadas da pesquisa
As tabelas do sistema não capturam todas as informações sobre como sua organização usa o site Databricks Assistant. Use perguntas de pesquisa, como as que estão abaixo, para entender como sua organização usa o Assistant.
Qual é o seu papel? Listar funções em sua organização
Com que frequência você usa o Assistant?
A cada hora
Diariamente
Semanalmente
Mensal
Onde o senhor usa o AI Assistant?
Editor de SQL
Notebooks
Ambos
Quais são seus principais casos de uso do Assistant?
Corrigindo erros/solução de problemas
Ajude a escrever código
Refatoração de código
Escrever consultas SQL
Escrevendo testes unitários
Procurando documentação
Você está satisfeito com as respostas do Assistant? escala de 1 a 5, de Não satisfeito a Extremamente satisfeito
Desde que passou a usar o AI Assistant, o senhor diria que está mais produtivo? escala de 1 a 5, de Muito menos produtivo a Muito mais produtivo
Quanto tempo o(a) senhor(a) acredita que economiza em uma tarefa média usando o Assistente?
0-10%
10-30%
30-50%
50-70%
Mais de 70%