Organize um espaço Genie eficaz

Prévia

O objetivo da curadoria de um espaço genie é criar um ambiente em que os usuários corporativos possam fazer perguntas em linguagem natural e receber respostas precisas e consistentes com base em seus dados. genie Os espaços usam modelos avançados que geram consultas sofisticadas e compreendem o conhecimento geral do mundo.

A maioria das questões comerciais é específica de um domínio, portanto, a função de um curador de espaço é preencher a lacuna entre esse conhecimento geral do mundo e a linguagem especializada usada em um domínio específico ou por uma determinada empresa. Os curadores usam metadados e instruções para ajudar o site genie a interpretar e responder com precisão às perguntas dos usuários corporativos. Este artigo descreve as melhores práticas e princípios para guiá-lo no desenvolvimento de um espaço bem-sucedido.

Práticas recomendadas para definir um novo espaço

As seções a seguir recomendam práticas para a criação de um espaço eficaz.

começar pequeno

A curadoria de um espaço genie é um processo iterativo. Ao criar um novo espaço, comece o mais pequeno possível, com instruções mínimas e um conjunto limitado de perguntas a serem respondidas. Em seguida, o senhor pode acrescentar algo à medida que for iterando com base no feedback e no monitoramento. Essa abordagem ajuda a simplificar a criação e a manutenção do seu espaço e permite que o senhor o organize de forma eficaz em resposta às necessidades reais dos usuários.

Use as seguintes diretrizes para ajudar a criar um espaço genie pequeno:

Mantenha o foco: Inclua apenas as tabelas necessárias para responder às perguntas que o senhor deseja que o espaço trate. O objetivo é ter cinco ou menos mesas. Quanto mais focada for sua seleção, melhor. O ideal é manter seu espaço estreitamente focado em uma pequena quantidade de dados, portanto, limite o número de colunas em suas tabelas incluídas.
Planeje a iteração: comece com uma configuração mínima para o seu espaço, concentrando-se nas tabelas essenciais e nas instruções básicas. Adicione orientações e exemplos mais detalhados à medida que você refina o espaço ao longo do tempo, em vez de buscar a perfeição inicialmente.
Construir com base em tabelas bem anotadas: o site genie usa nomes e descrições de colunas Unity Catalog para gerar respostas. Nomes e descrições claros das colunas ajudam a produzir respostas de alta qualidade. As descrições das colunas devem oferecer informações contextuais precisas. Evite detalhes ambíguos ou desnecessários. Inspecione as descrições geradas por IA quanto à precisão e clareza e use-as somente se estiverem alinhadas com o que o senhor forneceria manualmente.

Peça a um especialista no domínio para definir o espaço

Um criador de espaço eficaz precisa entender os dados e as percepções que podem ser extraídas deles. Os analistas de dados que são proficientes em SQL normalmente têm o conhecimento e as habilidades para fazer a curadoria do espaço.

Defina a finalidade de seu espaço

Identificar o público-alvo e a finalidade específicos do seu espaço ajuda o senhor a decidir quais dados, instruções e perguntas de teste usar. Um espaço deve responder a perguntas sobre um tópico e um público específicos, e não a perguntas gerais sobre vários domínios.

Teste e ajuste

O senhor deve ser o primeiro usuário do seu espaço. Depois que o senhor criar um novo espaço, comece a fazer perguntas. Examine cuidadosamente o SQL gerado em resposta às suas perguntas. Se o site genie interpretar mal os dados, as perguntas ou o jargão comercial, o senhor poderá intervir editando o site gerado SQL ou fornecendo outras instruções específicas. Continue testando e editando até obter respostas confiáveis.

Depois de analisar uma pergunta, você pode adicioná-la como uma pergunta de referência que pode ser usada para testar e avaliar sistematicamente seu espaço em termos de precisão geral. O senhor pode usar variações e frases de perguntas diferentes para testar as respostas do genie. Consulte Usar benchmarks em um espaço genie .

Consulte Solução de problemas para obter ideias sobre como corrigir respostas errôneas.

Realizar testes com usuários

Depois de verificar a qualidade da resposta por meio de testes, recrute um usuário corporativo para experimentar o espaço genie. Use as diretrizes a seguir para proporcionar uma jornada tranquila ao usuário e coletar feedback para aprimoramento contínuo:

Defina as expectativas de que o Job deles é para ajudar a refinar a sala.
Peça-lhes que concentrem seus testes no tópico específico e nas perguntas que o espaço foi projetado para responder.
Se receberem uma resposta incorreta, incentive os usuários a acrescentar instruções e esclarecimentos adicionais no chat para refinar a resposta. Quando uma resposta correta é fornecida, eles devem votar a favor da consulta final para minimizar erros semelhantes em interações futuras.
Diga aos usuários para votarem a favor ou contra as respostas usando o mecanismo de feedback integrado.
Convide os usuários a compartilhar feedback adicional e perguntas não resolvidas diretamente com os autores do espaço. Os autores e editores podem usar o feedback para refinar as instruções, os exemplos e o ativo confiável.

Considere a possibilidade de fornecer materiais de treinamento ou um documento escrito com diretrizes para testar a sala e fornecer feedback. À medida que os usuários corporativos testam o espaço, o senhor verá as perguntas que eles fizeram na história tab. Continue adicionando instruções para ajudar o site genie a interpretar corretamente as perguntas e os dados para fornecer respostas precisas. Consulte Revisar histórico e feedback para saber mais sobre como monitorar os espaços genie.

Observação

Os usuários corporativos devem ser membros do site workspace de origem para acessar seu espaço. Consulte Permissões necessárias para saber como fornecer as permissões apropriadas para interagir com o espaço.

Solução de problemas

As seções a seguir descrevem como resolver problemas comuns.

Jargão comercial mal compreendido

A maioria das empresas ou domínios tem uma abreviação específica que usa para se comunicar sobre eventos específicos do negócio. Por exemplo, quando se refere a um ano, pode sempre significar o ano fiscal, e esse ano fiscal pode começar em fevereiro ou março em vez de janeiro. Para permitir que o site genie responda a essas perguntas de forma natural e precisa, inclua instruções que mapeiem explicitamente o jargão comercial para palavras e conceitos que o site genie possa entender. Consulte Fornecer instruções.

Uso incorreto de tabelas ou colunas

Se o site genie estiver tentando extrair dados de uma tabela incorreta ou executar uma análise em colunas incorretas, o senhor poderá ajustar os dados de uma das seguintes maneiras:

Forneça descrições claras e precisas: Verifique suas tabelas e os metadados associados para verificar se a terminologia usada corresponde à terminologia dos usuários nas perguntas enviadas. Se não for o caso, refine a descrição ou adicione uma instrução que mapeie a terminologia usada na tabela com a terminologia usada na pergunta.
Adicionar consultas de exemplo: Forneça exemplos de consultas em SQL que genie pode usar para aprender como responder a determinadas perguntas. Consulte Fornecer instruções.
Remova tabelas ou colunas do espaço: Algumas tabelas podem incluir colunas ou conceitos sobrepostos que dificultam para o genie saber quais dados usar em uma resposta. Se possível, remova tabelas ou colunas desnecessárias ou sobrepostas. O senhor pode querer criar um view que inclua apenas as colunas necessárias.

Erros de filtragem

As consultas geradas geralmente incluem uma cláusula WHERE para filtrar os resultados de acordo com um valor específico. Como o site genie não tem visibilidade dos dados reais, ele pode definir a cláusula WHERE para filtrar o valor errado. Por exemplo, ele pode tentar corresponder ao nome "California" quando a tabela usa abreviações como "CA".

Para situações como essa, tente uma das seguintes estratégias:

Se o conjunto de valores de coluna for razoavelmente pequeno, enumere os strings válidos para cada descrição de coluna. Coloque aspas ao redor dos valores das strings, especialmente se elas tiverem espaços ou números. Às vezes, para enumerações comuns, basta dizer: "Use o código ISO de três letras do país" em vez de listar cada valor de estado.

União incorreta

Se as referências estrangeiras key não estiverem definidas em seu Unity Catalog, seu espaço pode não saber como as diferentes tabelas devem ser unidas.

Tente implementar uma ou mais das seguintes soluções:

Defina referências key estrangeiras em seu Unity Catalog quando possível. Consulte a cláusula CONSTRAINT.
Forneça exemplos de consultas em que o senhor join tabelas juntas de maneira padrão.
Se os relacionamentos key externos de suas tabelas não estiverem especificados no site Unity Catalog, documente-os nas instruções.

Se nenhuma dessas opções resolver o problema, o senhor pode pré-join a tabela em um view e usá-la como entrada para o espaço. Essa estratégia é útil para cenários mais complexos do site join, como o self-join.

Problemas de cálculo de métricas

A forma como as métricas são computadas e enroladas pode ser arbitrariamente complicada e englobar muitos detalhes comerciais que seu espaço não entende. Isso pode levar a relatórios incorretos.

Tente implementar uma ou mais das seguintes soluções:

Se suas métricas forem agregadas a partir de tabelas de base, forneça exemplos de consultas SQL que computam cada valor de roll-up.
Se suas métricas tiverem sido pré-computadas e estiverem em tabelas agregadas, explique isso nos comentários da tabela. Especifique as agregações válidas para cada métrica se as métricas dessa tabela puderem ser mais ampliadas.
Se o SQL que o senhor está tentando gerar for muito complicado, tente criar uma visualização que já tenha agregado suas métricas para o seu espaço.

Ignorar instruções

Mesmo que o senhor tenha explicado as tabelas e colunas nos comentários e fornecido instruções gerais, é possível que o seu espaço ainda não as esteja usando corretamente.

Tente uma ou mais das seguintes estratégias:

Forneça exemplos de consultas que usem suas tabelas corretamente. As consultas de exemplo são especialmente eficazes para ensinar ao seu espaço como usar seus dados.
Crie visualizações de suas tabelas que forneçam um view mais simplificado de seus dados.
Revise suas instruções e tente concentrar o espaço removendo tabelas ou instruções irrelevantes.
Tente iniciar um novo bate-papo. As interações anteriores podem influenciar as respostas de genieem qualquer bate-papo, mas iniciar um novo bate-papo lhe dá um ponto de partida em branco para testar novas instruções.

Problemas de desempenho

Quando o site genie precisa gerar consultas ou respostas de texto excepcionalmente longas, ele pode levar muito tempo para responder ou até mesmo parar durante a fase de raciocínio.

Tente uma ou mais das seguintes ações para melhorar o desempenho:

Use o ativo ou a visualização confiável para encapsular consultas complexas. Consulte Usar ativo confiável em AI/BI genie spaces.
Reduza o tamanho de seus exemplos de consultas SQL sempre que possível.
começar um novo bate-papo se genie começar a gerar respostas lentas ou falhas.

Respostas não confiáveis a perguntas de missão crítica

Use ativos confiáveis para fornecer respostas verificadas a perguntas específicas que o senhor espera que os usuários façam. Consulte Usar ativo confiável em AI/BI genie spaces.

Aviso de limite de tokens

Os tokens são as unidades básicas de texto que o site genie usa para processar e entender a linguagem. O texto incluído como instruções ou metadados em um espaço genie é convertido em tokens. Se o número de tokens no seu espaço estiver próximo do limite, o produto o notificará com avisos. genie aplica a filtragem inteligente de contexto para selecionar o site tokens que representa os metadados e alguns tipos de instruções incluídos no espaço genie. Mesmo que você exceda o limite, o espaço deve continuar gerando respostas às perguntas.

Se o espaço do site genie se aproximar do limite de tokens, o genie poderá priorizar a inclusão apenas das partes do esquema da tabela e das instruções mais relevantes para a pergunta. Isso pode reduzir a qualidade da resposta se o contexto importante for filtrado. Considere as seguintes práticas para reduzir a contagem de tokens:

Remova as colunas desnecessárias: As colunas desnecessárias em suas tabelas podem contribuir significativamente para o uso de tokens. Crie uma visualização para excluir campos redundantes ou não essenciais de suas tabelas brutas.
Simplifique as descrições das colunas: Embora as descrições das colunas sejam importantes, evite duplicar as informações já transmitidas pelos nomes das colunas. Por exemplo, se uma coluna for denominada account_name, uma descrição como "o nome do seu account" pode ser redundante e pode ser omitida.
Simplifique as instruções: Verifique se suas instruções são claras e concisas. Evite palavras desnecessárias.
Elimine exemplos de instruções SQL: Inclua uma gama diversificada de exemplos de instruções SQL para cobrir vários tipos de perguntas, mas remova os exemplos redundantes ou sobrepostos.

Sua conta não está habilitada para processamento entre regiões geográficas

Genie é um serviço designado gerenciar por Databricks. O serviço designado usa o site Databricks Geos para gerenciar a residência de dados. Em algumas regiões, os dados não podem ser processados no mesmo Geo que o workspace. Se o seu site workspace estiver em uma dessas regiões, o processamento cross-Geo deverá ser ativado pelo administrador do site account.