Organize um espaço Genie eficaz

O objetivo da curadoria de um espaço Genie é criar um ambiente em que os usuários corporativos possam fazer perguntas em linguagem natural e receber respostas precisas e consistentes com base em seus dados. Genie spaces usar modelos avançados que geram consultas sofisticadas e compreendem o conhecimento geral do mundo.

A maioria das questões de negócios é específica de um domínio, portanto, o papel de um curador de espaço é preencher a lacuna entre esse conhecimento geral do mundo e a linguagem especializada usada em um domínio específico ou por uma empresa específica. Os curadores usam metadados e instruções para ajudar o Genie a interpretar e responder com precisão às perguntas dos usuários corporativos. Este artigo descreve as melhores práticas e princípios para orientá-lo no desenvolvimento de um espaço bem-sucedido.

Melhores práticas para definir um novo espaço

As seções a seguir recomendaram práticas para criar um espaço eficaz.

começar small

A curadoria de um espaço Genie é um processo iterativo. Ao criar um novo espaço, comece o mais pequeno possível, com instruções mínimas e um conjunto limitado de perguntas a serem respondidas. Em seguida, o senhor pode acrescentar algo à medida que for iterando com base no feedback e no monitoramento. Essa abordagem ajuda a simplificar a criação e a manutenção do seu espaço e permite que você o organize de forma eficaz em resposta às necessidades reais do usuário.

Use as seguintes diretrizes para ajudar a criar um pequeno espaço Genie:

• Mantenha o foco : inclua apenas as tabelas necessárias para responder às perguntas que você deseja que o espaço resolva. Procure cinco ou menos mesas. Quanto mais focada for sua seleção, melhor. O ideal é manter seu espaço estreitamente focado em uma pequena quantidade de dados, portanto, limite o número de colunas nas tabelas incluídas.
• Planeje a iteração : comece com uma configuração mínima para o seu espaço, concentrando-se em tabelas essenciais e instruções básicas. Adicione orientações e exemplos mais detalhados à medida que você refina o espaço ao longo do tempo, em vez de buscar a perfeição inicialmente.
• Construir com base em tabelas bem anotadas : o site Genie usa nomes e descrições de colunas Unity Catalog para gerar respostas. Nomes e descrições claras das colunas ajudam a produzir respostas de alta qualidade. As descrições das colunas devem oferecer informações contextuais precisas. Evite detalhes ambíguos ou desnecessários. Inspecione todas as descrições geradas pelo AIquanto à precisão e clareza e use-as somente se estiverem alinhadas com o que o senhor forneceria manualmente.

Peça a um especialista em domínio que defina o espaço

Um criador de espaço eficaz precisa entender os dados e as percepções que podem ser extraídas deles. Os analistas de dados que são proficientes em SQL normalmente têm o conhecimento e as habilidades para fazer a curadoria do espaço.

Defina a finalidade do seu espaço

Identificar o público e o propósito específicos do seu espaço ajuda você a decidir quais dados, instruções e perguntas de teste usar. Um espaço deve responder perguntas sobre um determinado tópico e público, não perguntas gerais sobre vários domínios.

Teste e ajuste

Você deve ser o primeiro usuário do seu espaço. Depois que o senhor criar um novo espaço, comece a fazer perguntas. Examine cuidadosamente o SQL gerado em resposta às suas perguntas. Se o Genie interpretar mal os dados, as perguntas ou o jargão comercial, o senhor poderá intervir editando o SQL gerado ou fornecendo outras instruções específicas. Continue testando e editando até obter respostas confiáveis.

Depois de analisar uma pergunta, você pode adicioná-la como uma pergunta de referência que pode ser usada para testar e avaliar sistematicamente seu espaço em termos de precisão geral. O senhor pode usar variações e frases de perguntas diferentes para testar as respostas do Genie. Consulte Usar benchmarks em um espaço Genie.

Consulte Solução de problemas para obter ideias sobre como corrigir respostas errôneas.

Realizar testes com usuários

Depois de verificar a qualidade da resposta por meio de testes, recrute um usuário corporativo para experimentar o espaço Genie. Use as diretrizes a seguir para proporcionar uma jornada tranquila ao usuário e coletar feedback para melhoria contínua:

• Defina as expectativas de que o trabalho deles é ajudar a refinar a sala.
• Peça que eles concentrem seus testes no tópico e nas perguntas específicas que o espaço foi projetado para responder.
• Se receberem uma resposta incorreta, incentive os usuários a adicionarem instruções e esclarecimentos adicionais no chat para refinar a resposta. Quando uma resposta correta é fornecida, eles devem votar positivamente na consulta final para minimizar erros semelhantes em interações futuras.
• Diga aos usuários para votarem a favor ou contra as respostas usando o mecanismo de feedback integrado.
• Convide os usuários a compartilhar feedback adicional e perguntas não resolvidas diretamente com os autores do espaço. Os autores e editores podem usar o feedback para refinar as instruções, os exemplos e o ativo confiável.

Considere a possibilidade de fornecer materiais de treinamento ou um documento escrito com diretrizes para testar a sala e fornecer feedback. À medida que os usuários corporativos testam o espaço, o senhor verá as perguntas que eles fizeram na história tab. Continue adicionando instruções para ajudar o Genie a interpretar corretamente as perguntas e os dados para fornecer respostas precisas. Consulte Revisar histórico e feedback para saber mais sobre como monitorar Genie spaces.

nota

Os usuários corporativos devem ser membros do site workspace de origem para acessar seu espaço. Consulte Permissões necessárias para saber como fornecer as permissões apropriadas para interagir com o espaço.

Solução de problemas

As seções a seguir descrevem como resolver problemas comuns.

Jargão empresarial incompreendido

A maioria das empresas ou domínios usa uma abreviatura específica para se comunicar sobre eventos específicos da empresa. Por exemplo, quando se refere a um ano, pode sempre significar o ano fiscal, e esse ano fiscal pode começar em fevereiro ou março em vez de janeiro. Para permitir que o Genie responda a essas perguntas de forma natural e precisa, inclua instruções que mapeiem explicitamente o jargão da sua empresa para palavras e conceitos que o Genie possa entender. Consulte Fornecer instruções.

Uso incorreto de tabelas ou colunas

Se o site Genie estiver tentando extrair dados de uma tabela incorreta ou executar uma análise em colunas incorretas, o senhor poderá ajustar os dados de uma das seguintes maneiras:

• Forneça descrições claras e precisas : verifique suas tabelas e os metadados associados para verificar se a terminologia usada corresponde à terminologia dos usuários nas perguntas enviadas. Caso contrário, refine a descrição ou adicione uma instrução que mapeie a terminologia usada na tabela com a terminologia usada na pergunta.
• Adicionar consultas de exemplo : Forneça exemplos de consultas SQL que o Genie pode usar para aprender como responder a determinadas perguntas. Consulte Fornecer instruções.
• Remova tabelas ou colunas do espaço : Algumas tabelas podem incluir colunas ou conceitos sobrepostos que tornam difícil para o Genie saber quais dados usar em uma resposta. Se possível, remova tabelas ou colunas desnecessárias ou sobrepostas. O senhor pode querer criar um view que inclua apenas as colunas necessárias.

Erros de filtragem

As consultas geradas geralmente incluem uma cláusula WHERE para filtrar os resultados de acordo com um valor específico. Como o Genie não tem visibilidade dos dados reais, ele pode definir a cláusula WHERE para filtrar o valor errado. Por exemplo, ele pode tentar combinar o nome “Califórnia” quando a tabela usa abreviações como “CA”.

Para situações como essa, tente uma das seguintes estratégias:

• Se o conjunto de valores de coluna for razoavelmente pequeno, enumere os strings válidos para cada descrição de coluna. Coloque aspas ao redor dos valores das cadeias de caracteres, especialmente se eles tiverem espaços ou números. Às vezes, para enumerações comuns, basta dizer: “Use o código ISO de três letras do país” em vez de listar todos os valores do estado.

União incorreta

Se as referências estrangeiras key não estiverem definidas em seu Unity Catalog, seu espaço poderá não saber como as diferentes tabelas devem ser unidas.

Tente implementar uma ou mais das seguintes soluções:

• Defina referências key estrangeiras em seu Unity Catalog quando possível. Consulte a cláusula CONSTRAINT.
• Forneça exemplos de consultas em que o senhor join tabelas juntas de maneira padrão.
• Se os relacionamentos key externos de suas tabelas não estiverem especificados no site Unity Catalog, documente-os nas instruções.

Se nenhuma dessas opções resolver o problema, o senhor pode pré-join a tabela em um view e usá-la como entrada para o espaço. Essa estratégia é útil para cenários mais complexos do site join, como o self-join.

Problemas de cálculo de métricas

A forma como as métricas são computadas e enroladas pode ser arbitrariamente complicada e englobar muitos detalhes comerciais que seu espaço não entende. Isso pode levar a relatórios incorretos.

Tente implementar uma ou mais das seguintes soluções:

• Se suas métricas forem agregadas a partir de tabelas de base, forneça exemplos de consultas SQL que computam cada valor de roll-up.
• Se suas métricas tiverem sido pré-computadas e estiverem em tabelas agregadas, explique isso nos comentários da tabela. Especifique as agregações válidas para cada métrica se as métricas dessa tabela puderem ser mais ampliadas.
• Se o SQL que o senhor está tentando gerar for muito complicado, tente criar uma visualização que já tenha agregado suas métricas para o seu espaço.

Cálculos incorretos baseados em tempo

O Genie pode nem sempre ser capaz de inferir o fuso horário representado nos dados ou o fuso horário em que sua análise precisa ser realizada, a menos que o senhor forneça explicitamente orientações adicionais.

Inclua instruções mais explícitas detalhando o fuso horário de origem original, a função de conversão e o fuso horário de destino. Os exemplos a seguir mostram como alterar as instruções gerais para obter conversões de fuso horário mais confiáveis:

• Sempre converta horários em um fuso horário específico : neste exemplo, suponha que o carimbo de data/hora de origem seja UTC e você queira resultados no fuso horário America/Los_Angeles. Adicione o seguinte às instruções substituindo <timezone-column> pelo nome da coluna apropriado:

  • Os fusos horários nas tabelas estão em UTC.
  • Converta todos os fusos horários usando a seguinte função: convert_timezone('UTC', 'America/Los_Angeles', <timezone-column>).

• Converta formatos de data e hora não UTC para UTC : Se o fuso horário de workspace default for UTC, mas os usuários em Los Angeles precisarem fazer referência ao dia de hoje para um conjunto específico de registros, adicione o seguinte às instruções gerais do espaço:

  • Para referenciar hoje , use `date (convert_timezone ('UTC', 'America/Los_Angeles', current_timestamp ()))

Consulte a funçãoconvert_timezone para obter mais detalhes e sintaxe.

Ignorando instruções

Mesmo que você tenha explicado suas tabelas e colunas nos comentários e fornecido instruções gerais, talvez seu espaço ainda não as esteja usando corretamente.

Experimente uma ou mais das seguintes estratégias:

• Forneça exemplos de consultas que usam suas tabelas corretamente. Exemplos de consultas são especialmente eficazes para ensinar seu espaço a usar seus dados.
• Crie visualizações de suas tabelas que forneçam um view mais simplificado de seus dados.
• Revise suas instruções e tente focar o espaço removendo tabelas ou instruções irrelevantes.
• Tente iniciar um novo bate-papo. As interações anteriores podem influenciar as respostas do Genie em qualquer bate-papo, mas iniciar um novo bate-papo lhe dá um ponto de partida em branco para testar novas instruções.

Problemas de desempenho

Quando o Genie precisa gerar consultas ou respostas de texto excepcionalmente longas, ele pode levar muito tempo para responder ou até mesmo parar durante a fase de raciocínio.

Tente uma ou mais das seguintes ações para melhorar o desempenho:

• Use o ativo ou a visualização confiável para encapsular consultas complexas. Veja Use trusted ativo em AI/BI Genie spaces .
• Reduza o tamanho de seus exemplos de consultas SQL sempre que possível.
• começar um novo bate-papo se Genie começar a gerar respostas lentas ou falhas.

Respostas não confiáveis a perguntas essenciais

Use ativos confiáveis para fornecer respostas verificadas a perguntas específicas que o senhor espera que os usuários façam. Veja Use trusted ativo em AI/BI Genie spaces .

Aviso de limite de tokens

Os tokens são as unidades básicas de texto que o Genie usa para processar e entender a linguagem. O texto incluído como instruções ou metadados em um espaço Genie é convertido em tokens. Se o número de tokens no seu espaço estiver próximo do limite, o produto o notificará com avisos. O Genie aplica a filtragem inteligente de contexto para selecionar os tokens que representam os metadados e alguns tipos de instruções incluídos no espaço do Genie. Mesmo que você exceda o limite, o espaço deve continuar gerando respostas às perguntas.

Se o espaço do Genie se aproximar do limite de tokens, o Genie poderá priorizar a inclusão apenas das partes do esquema da tabela e das instruções que forem mais relevantes para a pergunta. Isso pode reduzir a qualidade da resposta se o contexto importante for filtrado. Considere as seguintes práticas para reduzir a contagem de tokens:

• Remova as colunas desnecessárias : As colunas desnecessárias em suas tabelas podem contribuir significativamente para o uso de tokens. Crie uma visualização para excluir campos redundantes ou não essenciais de suas tabelas brutas.
• Simplifique as descrições das colunas : Embora as descrições das colunas sejam importantes, evite duplicar as informações já transmitidas pelos nomes das colunas. Por exemplo, se uma coluna for denominada account_name, uma descrição como "o nome do seu account" pode ser redundante e pode ser omitida.
• Simplifique as instruções : verifique se suas instruções são claras e concisas. Evite palavras desnecessárias.
• Elimine exemplos de instruções SQL : Inclua uma gama diversificada de exemplos de instruções SQL para cobrir vários tipos de perguntas, mas remova os exemplos redundantes ou sobrepostos.

Seu site account não está habilitado para processamento entre regiões geográficas

Genie é um serviço designado gerenciar por Databricks. O serviço designado usa o site Databricks Geos para gerenciar a residência dos dados. Em algumas regiões, os dados não podem ser processados no mesmo Geo que o workspace. Se o seu site workspace estiver em uma dessas regiões, o processamento cross-Geo deverá ser ativado pelo administrador do site account.

Atingir os limites da Taxa de transferência

A taxa de transferência para Genie spaces é limitada a 20 perguntas por minuto por workspace, em todos os Genie spaces.