Pular para o conteúdo principal
Última atualização em

AI e aprendizado de máquina

O SAP Databricks AI Recurso unifica o ciclo de vida AI , desde a coleta e preparação de dados, passando pelo desenvolvimento de modelos e LLMOps, até a disponibilização e o monitoramento. Com o SAP Databricks, uma única plataforma atende a todas as etapas de desenvolvimento e implementação de ML . data scientists, engenheiros de dados, engenheiros ML e DevOps podem realizar seu trabalho usando o mesmo conjunto de ferramentas e uma única fonte de dados confiável.

Este artigo descreve as ferramentas que o SAP Databricks fornece para ajudar o senhor a criar sistemas de inteligência artificial (AI) e aprendizado de máquina (ML).

recurso​

Os seguintes recursos AI e ML estão incluídos no SAP Databricks:

  • AI Playground para testar modelos de AI em seu Workspace da Databricks. Você pode solicitar, comparar e ajustar as configurações, como o prompt do sistema e os parâmetros de inferência.
  • AI Functions que o senhor pode usar para aplicar AI, como tradução de texto ou análise de sentimento, em seus dados armazenados em Databricks.
  • Unity AI Gateway para governança e monitoramento do acesso a modelos de AI suportados e seus Endpoints de servindo modelo associados.
  • modelo específico para LLMs implantados.
  • A Busca Vetorial fornece um banco de dados vetorial consultável que armazena vetores de incorporação e pode ser configurado para sincronizar automaticamente com sua base de conhecimento.
  • Perfil de dados para monitoramento de dados e acompanhamento da qualidade e drift das previsões do modelo usando o registro automático de carga útil com tabelas de inferência.
  • Managed MLflow para o ciclo de vida do agente e do modelo de ML.
  • Agentes personalizados para criar e implantar agentes com qualidade de produção, como aplicativos de Geração Aumentada de Recuperação (RAG).
  • Agent Evaluation para avaliar a qualidade, o custo e a latência de aplicações de AI, incluindo aplicações e cadeias RAG.
  • AutoML para simplificar o processo de aplicação do aprendizado de máquina ao seu conjunto de dados.
  • Foundation Model Fine-tuning para personalizar um modelo de fundação usando seus próprios dados para otimizar o desempenho para sua aplicação específica.
  • Unity Catalog para gerenciar AI ativo, incluindo modelos e experimentos.

gerenciar AI ativo com Unity Catalog​

O SAP Databricks unifica a camada de dados e a plataforma ML . Todos os dados ativos e artefatos, como modelos e funções, são localizáveis e gerenciados em um único catálogo. Utilizar uma plataforma única para dados e modelos torna possível rastrear a linhagem desde os dados brutos até o modelo de produção. O monitoramento integrado de dados e modelos salva métricas de qualidade em tabelas também armazenadas na plataforma, facilitando a identificação da causa raiz dos problemas de desempenho do modelo.

Converse com LLMs e prototipe aplicativos de AI utilizando o AI Playground​

Você pode interagir com grandes modelos de linguagem compatíveis utilizando o AI Playground. O AI Playground é um ambiente semelhante a um bate-papo onde você pode testar, solicitar e comparar LLMs. Consulte Converse com LLMs e prototipe aplicativos de AI utilizando o AI Playground.

Use AI Functions em SQL​

AI Functions são funções integradas que o senhor pode usar para aplicar AI, como tradução de texto ou análise de sentimento, em seus dados armazenados em Databricks. Elas podem ser executadas no editor do Notebook e do site SQL. Os engenheiros analistas, data scientists e de aprendizado de máquina podem usar as funções do AI para aplicar inteligência de dados a seus dados proprietários. Veja Apply AI em uso de dados SAP Databricks AI Functions .

AI Gateway​

O AI Gateway foi projetado para otimizar o uso e o gerenciamento de modelos e agentes de AI dentro de uma organização. É um serviço centralizado que confere governança, monitoramento e prontidão para produção a endpoints de servindo modelo. Também permite executar, proteger e governar o tráfego de AI para democratizar e acelerar a adoção de AI para a organização. Consulte Configurar o Unity AI Gateway em Endpoints de servindo modelo.

modelos implantados usando modelo específico​

O modelo corporativo fornece uma interface unificada para implantar, governar e consultar modelos AI para inferência de tempo real e lotes. Cada modelo que você oferece está disponível como uma API REST que você pode integrar ao seu aplicativo web ou cliente.

Você pode configurar um endpoint de servindo modelo especificamente para acessar modelos de AI:

  • LLMs abertos de última geração usando APIs do Foundation Model.
  • Modelos de terceiros hospedados fora do Databricks.

Busca vetorial​

A Busca Vetorial é uma solução de busca vetorial integrada à Plataforma de Inteligência de Dados Databricks e às suas ferramentas de governança e produtividade. A Busca Vetorial fornece um banco de dados vetorial consultável que armazena vetores de incorporação e pode ser configurado para sincronizar automaticamente com sua base de conhecimento. Os embeddings são cruciais para aplicações que exigem buscas por similaridade, como RAG (Retrieval Augmented Generation), sistemas de recomendação e reconhecimento de imagens.

perfil de dados​

O perfil de dados permite monitorar as propriedades estatísticas e a qualidade dos dados em todas as tabelas em sua account. Você também pode usá-lo para acompanhar o desempenho de modelos do machine learning e endpoints de servindo modelo monitorando tabelas de inferência que contêm inputs e previsões de modelo. Veja Monitorar dados e ativos de AI com perfil de dados.

gerenciar MLflow​

O SAP Databricks fornece uma versão gerenciada do MLflow. MLflow é a maior plataforma de engenhariaAI de código aberto para agentes, LLMs e modelos ML . MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações AI com qualidade de produção, controlando custos e gerenciando o acesso a modelos e dados. Com mais de 30 milhões de downloads mensais, milhares de organizações confiam no MLflow diariamente para implementar AI em produção com segurança.

O conjunto abrangente de recursos do MLflow para agentes e aplicações LLM inclui observabilidade de nível de produção, avaliação, gerenciamento de prompts, um GatewayAI para gerenciar custos e acesso a modelos, e muito mais.

Para o desenvolvimento de modelos machine learning (ML), MLflow oferece acompanhamento de experimentos, recursos de avaliação de modelos, um registro de modelos de produção e ferramentas de implantação de modelos.

Agentes personalizados​

Agentes Personalizados são compatíveis com frameworks de terceiros como LangChain e LlamaIndex, permitindo que você desenvolva com seu framework preferido enquanto aproveita o Unity Catalog gerenciado da Databricks, o Framework de Agent Evaluation e outros benefícios da plataforma.

Avaliação de Agentes​

A Avaliação de Agentes ajuda os desenvolvedores a avaliar a qualidade, o custo e a latência de aplicações AI baseadas em agentes, incluindo aplicações e cadeias RAG. A Avaliação de Agentes foi concebida para identificar problemas de qualidade e determinar a causa raiz desses problemas. As funcionalidades de Avaliação de Agentes são unificadas nas fases de desenvolvimento, teste e produção do ciclo de vida do MLOps , e todas as métricas e dados de avaliação são registrados na execução MLflow .

Previsão de AutoML​

AutoML forecasting simplifica a previsão de dados de séries temporais, selecionando automaticamente o melhor algoritmo e os melhores hiperparâmetros, tudo isso enquanto é executado em um recurso totalmente gerenciado compute. Para executar um experimento de previsão, consulte AutoML forecasting.

Ajuste fino do modelo básico​

nota

Para usar esse produto, seu workspace deve estar na região suportada, us-east-1.

Com o ajuste fino do modelo de fundação, o senhor pode usar seus próprios dados para personalizar um modelo de fundação e otimizar seu desempenho para sua aplicação específica. Ao realizar o ajuste fino ou o treinamento contínuo de um modelo básico, o senhor pode treinar seu próprio modelo usando significativamente menos dados, tempo e compute recurso do que treinar um modelo do zero.

Saiba mais​

Para saber mais sobre machine learning e o recurso de inteligência artificial em Databricks, consulte a documentação completa em Databricks AI e machine learning. O conjunto de AI e machine learning recursos suportados no SAP Databricks difere entre as contas implantadas em AWS e GCP.

Nesta página