Pular para o conteúdo principal
Última atualização em

AI e aprendizado de máquina

O SAP Databricks AI Recurso unifica o ciclo de vida AI , desde a coleta e preparação de dados, passando pelo desenvolvimento de modelos e LLMOps, até a disponibilização e o monitoramento. Com o SAP Databricks, uma única plataforma atende a todas as etapas de desenvolvimento e implementação de ML . data scientists, engenheiros de dados, engenheiros ML e DevOps podem realizar seu trabalho usando o mesmo conjunto de ferramentas e uma única fonte de dados confiável.

Este artigo descreve as ferramentas que o SAP Databricks fornece para ajudar o senhor a criar sistemas de inteligência artificial (AI) e aprendizado de máquina (ML).

recurso​

Os seguintes recursos AI e ML estão incluídos no SAP Databricks:

  • AI Playground para testar modelos generativos AI de seu Databricks workspace. Você pode solicitar, comparar e ajustar configurações como comandos do sistema e parâmetros de inferência.
  • AI Functions que o senhor pode usar para aplicar AI, como tradução de texto ou análise de sentimento, em seus dados armazenados em Databricks.
  • O Unity AI Gateway serve para governar e monitorar o acesso a modelos AI generativos suportados e seus respectivos endpoints de serviço.
  • modelo específico para LLMs implantados.
  • A Busca Vetorial fornece um banco de dados vetorial consultável que armazena vetores de incorporação e pode ser configurado para sincronizar automaticamente com sua base de conhecimento.
  • Monitoramento de lagoas para monitoramento de dados e acompanhamento da qualidade e desvio da previsão do modelo usando o registro automático de carga útil com tabelas de inferência.
  • Gerenciar MLflow para o agente AI e o ciclo de vida do modelo ML.
  • Framework de agentes para construir e implantar agentes de qualidade de produção, como aplicações de Geração Aumentada por Recuperação (RAG).
  • Avaliação de agentes para avaliar a qualidade, o custo e a latência de aplicações AI generativa, incluindo aplicações e cadeias RAG.
  • AutoML para simplificar o processo de aplicação do aprendizado de máquina ao seu conjunto de dados.
  • Foundation Model Fine-tuning para personalizar um modelo de fundação usando seus próprios dados para otimizar o desempenho para sua aplicação específica.
  • Unity Catalog para gerenciar AI ativo, incluindo modelos e experimentos.

gerenciar AI ativo com Unity Catalog​

O SAP Databricks unifica a camada de dados e a plataforma ML . Todos os dados ativos e artefatos, como modelos e funções, são localizáveis e gerenciados em um único catálogo. Utilizar uma plataforma única para dados e modelos torna possível rastrear a linhagem desde os dados brutos até o modelo de produção. O monitoramento integrado de dados e modelos salva métricas de qualidade em tabelas também armazenadas na plataforma, facilitando a identificação da causa raiz dos problemas de desempenho do modelo.

Converse com LLMs e crie protótipos de aplicativos generativos AI usando AI Playground​

O senhor pode interagir com grandes modelos de linguagem suportados usando o AI Playground. O AI Playground é um ambiente semelhante a um bate-papo em que o senhor pode testar, solicitar e comparar LLMs. Consulte Bate-papo com LLMs e protótipo de aplicativos generativos AI usando AI Playground.

Use AI Functions em SQL​

AI Functions são funções integradas que o senhor pode usar para aplicar AI, como tradução de texto ou análise de sentimento, em seus dados armazenados em Databricks. Elas podem ser executadas no editor do Notebook e do site SQL. Os engenheiros analistas, data scientists e de aprendizado de máquina podem usar as funções do AI para aplicar inteligência de dados a seus dados proprietários. Veja Apply AI em uso de dados SAP Databricks AI Functions .

AI Gateway​

AI Gateway foi projetado para simplificar o uso e o gerenciamento de modelos e agentes AI generativa dentro de uma organização. É um serviço centralizado que traz governança, monitoramento e prontidão de produção para instalações modelo endpoint. Isso também permite executar, proteger e governar o tráfego AI para democratizar e acelerar a adoção AI em sua organização. Consulte Configurar o Unity AI Gateway no endpoint do modelo específico.

modelos implantados usando modelo específico​

O modelo corporativo fornece uma interface unificada para implantar, governar e consultar modelos AI para inferência de tempo real e lotes. Cada modelo que você oferece está disponível como uma API REST que você pode integrar ao seu aplicativo web ou cliente.

Você pode configurar um endpoint de servindo modelo especificamente para acessar modelos de IA generativa:

  • LLMs abertos de última geração usando APIs do Foundation Model.
  • Modelos de terceiros hospedados fora do Databricks.

Busca vetorial​

A Busca Vetorial é uma solução de busca vetorial integrada à Plataforma de Inteligência de Dados Databricks e às suas ferramentas de governança e produtividade. A Busca Vetorial fornece um banco de dados vetorial consultável que armazena vetores de incorporação e pode ser configurado para sincronizar automaticamente com sua base de conhecimento. Os embeddings são cruciais para aplicações que exigem buscas por similaridade, como RAG (Retrieval Augmented Generation), sistemas de recomendação e reconhecimento de imagens.

monitoramento da lagoa​

Databricks O lakehouse monitoramento permite que o senhor monitore as propriedades estatísticas e a qualidade dos dados em todas as tabelas do seu site account. O senhor também pode usá-lo para monitorar o desempenho do modelo do aprendizado de máquina e do endpoint do modelo de serviço, monitorando as tabelas de inferência que contêm entradas e previsões do modelo. Consulte Monitorar dados e AI ativo com o monitoramento de lakehouse.

gerenciar MLflow​

O SAP Databricks fornece uma versão gerenciada do MLflow. MLflow é a maior plataforma de engenhariaAI de código aberto para agentes, LLMs e modelos ML . MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações AI com qualidade de produção, controlando custos e gerenciando o acesso a modelos e dados. Com mais de 30 milhões de downloads mensais, milhares de organizações confiam no MLflow diariamente para implementar AI em produção com segurança.

O conjunto abrangente de recursos do MLflow para agentes e aplicações LLM inclui observabilidade de nível de produção, avaliação, gerenciamento de prompts, um GatewayAI para gerenciar custos e acesso a modelos, e muito mais.

Para o desenvolvimento de modelos machine learning (ML), MLflow oferece acompanhamento de experimentos, recursos de avaliação de modelos, um registro de modelos de produção e ferramentas de implantação de modelos.

Estrutura de Agentes​

O Agent Framework é um conjunto de ferramentas no Databricks projetado para ajudar os desenvolvedores a construir, implementar e avaliar agentes de qualidade de produção, como aplicações de geração aumentada de recuperação (RAG).

Ele é compatível com estruturas de terceiros, como LangChain e LlamaIndex, permitindo que o senhor desenvolva com sua estrutura preferida e, ao mesmo tempo, aproveite o Databricks' gerenciar Unity Catalog, a estrutura de avaliação de agentes e outros benefícios da plataforma.

Avaliação de Agentes​

A Avaliação de Agentes ajuda os desenvolvedores a avaliar a qualidade, o custo e a latência de aplicações AI baseadas em agentes, incluindo aplicações e cadeias RAG. A Avaliação de Agentes foi concebida para identificar problemas de qualidade e determinar a causa raiz desses problemas. As funcionalidades de Avaliação de Agentes são unificadas nas fases de desenvolvimento, teste e produção do ciclo de vida do MLOps , e todas as métricas e dados de avaliação são registrados na execução MLflow .

Previsão de AutoML​

AutoML forecasting simplifica a previsão de dados de séries temporais, selecionando automaticamente o melhor algoritmo e os melhores hiperparâmetros, tudo isso enquanto é executado em um recurso totalmente gerenciado compute. Para executar um experimento de previsão, consulte AutoML forecasting.

Ajuste fino do modelo básico​

nota

Para usar esse produto, seu workspace deve estar na região suportada, us-east-1.

Com o ajuste fino do modelo de fundação, o senhor pode usar seus próprios dados para personalizar um modelo de fundação e otimizar seu desempenho para sua aplicação específica. Ao realizar o ajuste fino ou o treinamento contínuo de um modelo básico, o senhor pode treinar seu próprio modelo usando significativamente menos dados, tempo e compute recurso do que treinar um modelo do zero.

Saiba mais​

Para saber mais sobre machine learning e o recurso de inteligência artificial em Databricks, consulte a documentação completa em Databricks AI e machine learning. O conjunto de AI e machine learning recursos suportados no SAP Databricks difere entre as contas implantadas em AWS e GCP.

Nesta página