Consultar LLMs e agentes no Databricks

Databricks oferece diversas maneiras de consultar grandes modelos de linguagem (LLMs), modelos de base e agentes de implantação. Escolha uma interface de usuário interativa, SQL, APIs REST ou biblioteca de cliente, dependendo do seu fluxo de trabalho.

AI Playground

O AI Playground é um ambiente de bate-papo sem código em seu workspace Databricks para solicitar e comparar modelos de aprendizagem de linguagem (LLMs). Use-o para experimentar com prompts, ajustar parâmetros como temperatura e número máximo de tokens, e criar protótipos de agentes que chamam ferramentas e bots que respondem a perguntas lado a lado antes de passar para o código.

enriquecer dados usando AI Functions

AI Functions são funções SQL integradas que aplicam LLMs e outros modelos aos dados armazenados no Databricks. Executá-los a partir do Databricks SQL, Notebook, LakeFlow , Spark Declarative pipeline ou fluxo de trabalho para classificar tickets de suporte, extrair entidades de documentos, resumir conteúdo ou traduzir texto em lotes escala.

Escolha entre dois estilos de funções:

• Funções específicas de tarefas como ai_classify, ai_extract e ai_parse_document são otimizadas para uma única tarefa e usam sistemas Databricks-gerenciar, apoiados por pesquisa.
• ai_query é a função de propósito geral — forneça seu próprio prompt e escolha qualquer modelo de fundação compatível. Consulte o uso ai_query.

Para um exemplo completo, consulte Analisar avaliações de clientes usando AI Functions.

Agentes de consulta

Após criar e implantar um agente, consulte o agente a partir de sua aplicação. Os agentes podem ser hospedados no Databricks Apps ou no endpoint Model Serving Mosaic AI . O Databricks suporta três métodos de consulta:

• Databricks OpenAI Client — recomendado para novas aplicações, com transmissão nativa e suporte completo a recursos.
• API REST compatível com OpenAI — independente de linguagem, funciona com qualquer plataforma que já utilize a API OpenAI.
• ai_query — consultar agentes legados hospedados no endpoint Model Serving a partir do SQL.

Modelos de fundação

Mosaic AI Model Serving hospeda modelos abertos, Databricks-gerenciar e externos por trás de uma API unificada. Escolha a opção de implantação que melhor se adapta à sua carga de trabalho:

• Pagamento por token — consulte endpoints pré-configurados em seu workspace sem compromisso com infraestrutura. Bom para experimentação.
• provisionamento Taxa de transferência — implantou modelos afinados com atendimento otimizado e garantias de desempenho para produção.
• Modelos externos — encaminham solicitações para provedores como OpenAI ou Anthropic por meio da governança do Databricks.