Pular para o conteúdo principal

Configuração e considerações para ai_generate_text()

info

Visualização

Esse recurso está em Public Preview.

atenção

A função AI, ai_generate_text(), está obsoleta. A Databricks recomenda o uso do ai_query com modelos externos.

Este artigo descreve o que o senhor deve considerar e o que deve ser configurado antes de começar a usar a função ai_generate_text(), especificamente como recuperar credenciais de autenticação e armazená-las com segurança. Ele também inclui limitações de funcionalidade e considerações sobre custo e desempenho.

O que é ai_generate_text()?​

A função ai_generate_text() é uma função integrada do Databricks SQL que permite que o senhor acesse modelos de linguagem grandes (LLMs) diretamente do SQL. Atualmente, essa função oferece suporte ao acesso aos modelos OpenAI e Azure OpenAI e permite que os clientes os utilizem como blocos de construção em cargas de trabalho de pipeline de dados e aprendizado de máquina. Para padrões de sintaxe e design, consulte o conteúdo do manual da linguagem de funçõesai_generate_text.

Os possíveis casos de uso do ai_generate_text() incluem tradução, resumo, ações recomendadas, identificação de tópicos ou temas e muito mais.

A seguir estão algumas vantagens de usar LLMs em Databricks:

  • Camada unificada de acesso e gerenciamento em LLMs de código aberto e proprietários.
  • infraestrutura LLM sem servidor, com dimensionamento automático e integrada aos dados.
  • Simplicidade de apontar e clicar para personalizar os LLMs de acordo com seus requisitos de negócios e casos de uso.
  • Para usuários avançados, ferramentas para desenvolvimento rápido e personalização de LLMs de código aberto.

Requisitos​

  • Inscrição no site AI Functions Public Preview. Para se inscrever na prévia pública, preencha e envie o formulário de inscrição da prévia pública do AI Functions.
  • Databricks SQL Pro ou sem servidor.
  • Entenda que a ativação e o uso dessa funcionalidade direcionam os dados para deixar seu ambiente SQL e passar para provedores de modelos LLM de terceiros: OpenAI e Azure OpenAI.
  • O senhor tem acesso ao Azure OpenAI ou ao OpenAI.
  • Um modelo GPT 3.5 Turbo implantado.

Recuperar detalhes de autenticação​

Para usar a função ai_generate_text(), o senhor precisa ter acesso ao Azure OpenAI ou ao OpenAI.

Recupere detalhes de autenticação para Azure OpenAI com as seguintes passos. Seus detalhes de autenticação preenchem os parâmetros resourceName e deploymentName de ai_generate_text().

  1. Navegue até o serviço Cognitive no portal Azure e selecione Azure OpenAI.
  2. Selecione o recurso que o senhor deseja usar.
  3. Selecione a chave e o endpoint em Gerenciamento de recursos.
  4. Copie o endereço key e o nome do seu recurso.
  5. Selecione Model Deployments em Recurso Management.
  6. Copie o nome de implantação do seu modelo.

Para o OpenAI, o senhor pode navegar até o OpenAI e selecionar API key para criar seu key.

nota

O senhor não pode copiar a chave de uma configuração existente do site key.

Você também pode:

  • Recupere o endereço key da pessoa, também chamada de principal, que criou a configuração.
  • Crie um novo key e copie o key fornecido após a criação bem-sucedida.

Armazenar tokens de acesso​

important

Não inclua seus tokens em texto simples em seu Notebook, código ou repositório git.

O senhor pode usar os segredos do Databricks para manter seus tokens de API. Use a CLI da Databricks ou a API de segredos 2.0 para criar seus segredos. As etapas do exemplo a seguir usam a CLI do Secrets:

  1. Se o senhor ainda não tiver um escopo secreto para manter sua chave OpenAI, crie um:

    databricks secrets create-scope openai

  2. Você precisa conceder permissões de LEITURA ou superiores aos usuários ou grupos que têm permissão para se conectar ao OpenAI. A Databricks recomenda a criação de um grupo openai-users e a adição de usuários permitidos a esse grupo.

    databricks secrets put-acl openai openai-users READ

  3. Crie um segredo para seus tokens de acesso API. A Databricks recomenda o formato <resource-name>-key:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Limitações​

  • ai_generate_text() não é suportado em clustering interativo ou de trabalho.
  • Os únicos modelos suportados na versão prévia são openai/gpt-3.5-turbo e azure_openai/gpt-35-turbo.
  • O limite de tokens para openai/gpt-3.5-turbo e azure_openai/gpt-35-turbo é 4096 tokens.

Considerações sobre custo e desempenho​

  • OpenAI e Azure O serviço OpenAI requer inscrição e é cobrado separadamente de Databricks.

  • Em uma determinada consulta, as chamadas para as APIs do LLM são feitas sequencialmente para a(s) coluna(s) na(s) qual(is) as funções são chamadas.

    • Em comparação com a maioria das funções SQL, as consultas que usam ai_generate_text() tendem a ter uma execução mais lenta.

  • O tempo de resposta de uma consulta que invoca o AI Functions depende tanto da tarefa especificada no prompt quanto do número de tokens fornecidos e solicitados.

  • Azure O serviço OpenAI está disponível apenas em um pequeno número de regiõesAzure no momento desta visualização.

Recurso adicional​

Consulte a documentação do manual da linguagem para obter a sintaxe e os padrões de design da função AI.

Consulte Analisar avaliações de clientes com ai_generate_text() e OpenAI para ver um exemplo de como usar ai_generate_text() em um cenário de negócios.

Última atualização em