Consultar LLMs e agentes no Databricks

Databricks oferece diversas maneiras de consultar grandes modelos de linguagem (LLMs), modelos de base e agentes de implantação. Escolha uma interface de usuário interativa, SQL, APIs REST ou biblioteca de cliente, dependendo do seu fluxo de trabalho.

AI Playground

O AI Playground é um ambiente de bate-papo sem código em seu workspace Databricks para solicitar e comparar modelos de aprendizagem de linguagem (LLMs). Use-o para experimentar com prompts, ajustar parâmetros como temperatura e número máximo de tokens, e criar protótipos de agentes que chamam ferramentas e bots que respondem a perguntas lado a lado antes de passar para o código.

Modelos de fundação

O Unity AI Gateway serve modelos básicos pay-per-token gerenciados pelo Databricks por trás de uma API unificada, pronto para usar sem compromisso de infraestrutura. Escolha o tipo de serviço de modelo que melhor se adapta às suas necessidades:

• **Serviços de modelo system.ai fornecidos pelo sistema em ** — serviços de modelo pré-configurados no Unity Catalog. Bom para começar.
• **Serviços de modelo personalizados** — crie seus próprios serviços de modelo para distribuir a carga entre vários modelos ou configurar fallbacks. Melhor para governança avançada e em escala.

Agentes de consulta

Após criar e implantar um agente, consulte o agente a partir de sua aplicação. Os agentes podem ser hospedados no Databricks Apps ou no endpoint Model Serving Mosaic AI . O Databricks suporta três métodos de consulta:

• Databricks OpenAI Client — recomendado para novas aplicações, com transmissão nativa e suporte completo a recursos.
• API REST compatível com OpenAI — independente de linguagem, funciona com qualquer plataforma que já utilize a API OpenAI.
• ai_query — consultar agentes legados hospedados no endpoint Model Serving a partir do SQL.

enriquecer dados usando AI Functions

AI Functions são funções SQL integradas que aplicam LLMs e outros modelos aos dados armazenados no Databricks. Executá-los a partir do Databricks SQL, Notebook, LakeFlow , Spark Declarative pipeline ou fluxo de trabalho para classificar tickets de suporte, extrair entidades de documentos, resumir conteúdo ou traduzir texto em lotes escala.

Escolha entre dois estilos de funções:

• Funções específicas de tarefas como ai_classify, ai_extract e ai_parse_document são otimizadas para uma única tarefa e usam sistemas Databricks-gerenciar, apoiados por pesquisa.
• ai_query é a função de propósito geral — forneça seu próprio prompt e escolha qualquer modelo de fundação compatível. Consulte o uso ai_query.

Para um exemplo completo, consulte Analisar avaliações de clientes usando AI Functions.