Consultar LLMs e agentes no Databricks

Databricks oferece diversas maneiras de consultar grandes modelos de linguagem (LLMs), modelos de base e agentes de implantação. Escolha uma interface de usuário interativa, SQL, APIs REST ou biblioteca de cliente, dependendo do seu fluxo de trabalho.

AI Playground

O AI Playground é um ambiente de bate-papo sem código em seu workspace Databricks para solicitar e comparar modelos de aprendizagem de linguagem (LLMs). Use-o para experimentar com prompts, ajustar parâmetros como temperatura e número máximo de tokens, e criar protótipos de agentes que chamam ferramentas e bots que respondem a perguntas lado a lado antes de passar para o código.

Modelos de fundação

O Databricks disponibiliza modelos de fundação nativamente como APIs de modelo (serviços de modelo) por meio do Unity AI Gateway. Todo usuário account pode chamar os modelos de pagamento por tokens no esquema system.ai sem necessidade de configuração. Escolha as APIs de modelo que atendem às suas necessidades:

• APIs de modelo fornecidas pelo sistema em system.ai : modelos atendidos nativamente pelo Databricks, prontos para query com o SDK compatível com OpenAI, APIs de provedor nativas ou ai_query. Consulte query APIs de modelo (serviços de modelo).
• APIs de modelo personalizado : Crie o seu próprio quando precisar de modelos além dos default, ou para distribuir a carga e configurar fallback.

Agentes de consulta

Depois de construir e implantar um agente, query o agente a partir do seu aplicativo. Os agentes podem ser hospedados em Databricks Apps ou endpoints de Model Serving. O Databricks é compatível com três métodos de query:

• Cliente Databricks OpenAI : Recomendado para novos aplicativos, com transmissão nativa e suporte completo a recursos.
• API REST compatível com OpenAI : agnóstica em relação à linguagem, funciona com qualquer plataforma que já utilize a API OpenAI.
• ai_query : Faça query em agentes legados hospedados em Endpoint de Model Serving a partir do SQL.

enriquecer dados usando AI Functions

AI Functions são funções SQL integradas que aplicam LLMs e outros modelos a dados armazenados no Databricks. Execute-os a partir do Databricks SQL, notebooks, LakeFlow Pipelines, ou Workflows para classificar tickets de suporte, extrair entidades de documentos, resumir conteúdo ou traduzir texto em escala de lotes.

Escolha entre dois estilos de funções:

• Funções específicas de tarefas como ai_classify, ai_extract e ai_parse_document são otimizadas para uma única tarefa e usam sistemas Databricks-gerenciar, apoiados por pesquisa.
• ai_query é a função de uso geral. Crie seu próprio prompt e escolha qualquer modelo básico compatível. Consulte Usar ai_query.

Para um exemplo completo, consulte Analisar avaliações de clientes usando AI Functions.