Medir o impacto do Databricks Assistant

Este artigo fornece informações sobre como medir o impacto do site Databricks Assistant em termos de adoção, engajamento e ganhos de produtividade relatados.

Requisitos

Para medir o impacto do Databricks Assistant, o senhor precisa:

• privilégios de administrador da conta necessários para ativar as tabelas do sistema. Consulte Habilitar tabelas do sistema.
• Uma pesquisa interna para obter feedback subjetivo da sua equipe sobre o Assistant.

Dados vs. métricas

O senhor obtém dados brutos das tabelas do sistema e de uma pesquisa. Para entender o impacto do Assistente, o senhor deve analisar e relatar os dados como métricas. As métricas são valores calculados que o senhor usa para medir aspectos ou atividades específicas relacionadas ao impacto do Assistente. Este artigo também se refere a métricas como medidas .

Dicas para medir o impacto do Assistente

Para entender como a sua organização está usando o Databricks Assistant, comece medindo a adoção e o envolvimento com o Databricks Assistant. Esses dados podem ser calculados a partir das tabelas do sistema.

Revise seus dados rotineiramente e disponibilize-os facilmente em um painel compartilhado. Para obter um exemplo de painel e padrão, consulte Databricks Assistant referência e exemplo de tabela do sistema.

Assistente de impacto métrico

A seguir estão as medidas recomendadas do impacto do Assistente, tanto nas tabelas do sistema quanto nos comentários dos usuários. Para obter exemplos de cálculos métricos, acesse download o arquivo do painel de eventos do Assistant em GitHub e leia os cálculos em JSON. Para saber como importar um arquivo de painel, consulte Importar um arquivo de painel

Pesquisar sua organização também ajuda você a entender a eficácia de seu envolvimento com o Assistant. Consulte Perguntas recomendadas da pesquisa.

Medida	Definição	Etapa	Origem de dados
Principais usuários em geral	Usuários em um determinado período que interagem com mais frequência com o Assistente	Adoção	Calcular a partir dos dados da tabela do sistema do Databricks Assistant.
Dados de envios: por workspace e total	Número de solicitações enviadas ao Assistente por workspace e por account	Adoção	Calcular a partir dos dados da tabela do sistema do Databricks Assistant.
Usuários ativos por dia e mês	Usuários únicos que receberam e aceitaram mais de 1 sugestão ou participaram de mais de 1 bate-papo em um determinado dia.	Engajamento	Calcular a partir dos dados da tabela do sistema do Databricks Assistant.
Usuários ativos por workspace	Usuários únicos em um determinado workspace que interagem com o Assistant	Engajamento	Calcular a partir dos dados da tabela do sistema do Databricks Assistant.
Principais funções de trabalho usando Databricks Assistant	Números de pessoas de cada função identificada em sua organização que usam o Assistant	Engajamento	Pesquisa de sua organização
Top tarefa for Assistant	A tarefa mais comum com a qual o Assistant ajuda	Engajamento	Pesquisa de sua organização
Com que frequência você usa o Assistant	Frequência autorrelatada de uso do Assistente por usuário	Engajamento	Pesquisa de sua organização
Principais áreas de uso do Assistente	Áreas de uso declaradas pelo próprio usuário: SQL editor, Notebook ou ambos	Engajamento	Pesquisa de sua organização
A satisfação do usuário com a ajuda do Assistant	Satisfação com as respostas do Assistente em uma escala de 1 a 5	satisfação do usuário	Pesquisa de sua organização
Ganhos na produtividade do usuário	Aumento de produtividade auto-relatado com o uso do Assistant em uma escala de 1 a 5	satisfação do usuário	Pesquisa de sua organização
Quantidade de tempo que os usuários economizam usando o Assistente	Porcentagem de tempo economizado com o uso do Assistant para realizar a tarefa	satisfação do usuário	Pesquisa de sua organização

Perguntas recomendadas da pesquisa

As tabelas do sistema não capturam todas as informações sobre como sua organização usa o site Databricks Assistant. Use perguntas de pesquisa, como as que estão abaixo, para entender como sua organização usa o Assistant.

• Qual é o seu papel? Listar funções em sua organização

• Com que frequência você usa o Assistant?

  • A cada hora
  • Diariamente
  • Semanalmente
  • Mensal

• Onde o senhor usa o AI Assistant?

  • Editor de SQL
  • cadernos
  • Ambos

• Quais são seus principais casos de uso do Assistant?

  • Corrigindo erros/solução de problemas
  • Ajude a escrever código
  • Refatoração de código
  • Escrever consultas SQL
  • Escrevendo testes unitários
  • Procurando documentação

• Você está satisfeito com as respostas do Assistant? escala de 1 a 5, de Não satisfeito a Extremamente satisfeito

• Desde que passou a usar o AI Assistant, o senhor diria que está mais produtivo? escala de 1 a 5, de Muito menos produtivo a Muito mais produtivo

• Quanto tempo o(a) senhor(a) acredita que economiza em uma tarefa média usando o Assistente?

  • 0-10%
  • 10-30%
  • 30-50%
  • 50-70%
  • Mais de 70%