Consultar LLMs e agentes no Databricks

Databricks oferece diversas maneiras de consultar grandes modelos de linguagem (LLMs), modelos de base e agentes de implantação. Escolha uma interface de usuário interativa, SQL, APIs REST ou biblioteca de cliente, dependendo do seu fluxo de trabalho.

AI Playground

O AI Playground é um ambiente de bate-papo sem código em seu workspace Databricks para solicitar e comparar modelos de aprendizagem de linguagem (LLMs). Use-o para experimentar com prompts, ajustar parâmetros como temperatura e número máximo de tokens, e criar protótipos de agentes que chamam ferramentas e bots que respondem a perguntas lado a lado antes de passar para o código.

Modelos de fundação

O Unity AI Gateway serve modelos básicos pay-per-token gerenciados pelo Databricks por trás de uma API unificada, pronto para usar sem compromisso de infraestrutura. Escolha o tipo de serviço de modelo que melhor se adapta às suas necessidades:

• **Serviços de modelo system.ai fornecidos pelo sistema em ** — serviços de modelo pré-configurados no Unity Catalog. Bom para começar.
• **Serviços de modelo personalizados** — crie seus próprios serviços de modelo para distribuir a carga entre vários modelos ou configurar fallbacks. Melhor para governança avançada e em escala.

Agentes de consulta

Depois de construir e implantar um agente, query o agente a partir do seu aplicativo. Os agentes podem ser hospedados em Databricks Apps ou endpoints de Model Serving. O Databricks é compatível com três métodos de query:

• Databricks OpenAI Client — recomendado para novas aplicações, com transmissão nativa e suporte completo a recursos.
• API REST compatível com OpenAI — independente de linguagem, funciona com qualquer plataforma que já utilize a API OpenAI.
• ai_query — consultar agentes legados hospedados no endpoint Model Serving a partir do SQL.

enriquecer dados usando AI Functions

AI Functions são funções SQL integradas que aplicam LLMs e outros modelos a dados armazenados no Databricks. Execute-os a partir do Databricks SQL, notebooks, LakeFlow Pipelines, ou Workflows para classificar tickets de suporte, extrair entidades de documentos, resumir conteúdo ou traduzir texto em escala de lotes.

Escolha entre dois estilos de funções:

• Funções específicas de tarefas como ai_classify, ai_extract e ai_parse_document são otimizadas para uma única tarefa e usam sistemas Databricks-gerenciar, apoiados por pesquisa.
• ai_query é a função de propósito geral — forneça seu próprio prompt e escolha qualquer modelo de fundação compatível. Consulte o uso ai_query.

Para um exemplo completo, consulte Analisar avaliações de clientes usando AI Functions.