Pular para o conteúdo principal
Última atualização em

AI e aprendizado de máquina em Databricks

Crie, implante e gerencie aplicativos de aprendizado de máquina e AI com o Mosaic AI, uma plataforma integrada que unifica todo o ciclo de vida do AI, desde a preparação dos dados até o monitoramento da produção.

Para obter um conjunto de tutoriais para que o senhor comece, consulte AI e o tutorial de aprendizado de máquina.

Crie aplicativos generativos em AI​

AI Desenvolva e implante aplicativos generativos de nível empresarial, como LLMs ajustados, agentes AI e geração aumentada por recuperação.

    • AI Playground
    • Prototipar e testar modelos generativos do AI com engenharia imediata sem código e ajuste de parâmetros.
    • Modelos de fundação
    • Atenda a LLMs de última geração por meio de APIs seguro e escalável com governança e monitoramento integrados.
    • Estrutura do Mosaic AI Agent
    • Crie e implante agentes com qualidade de produção, incluindo aplicativos RAG com Python e qualquer biblioteca de criação.
    • MLflow para GenAI
    • Meça, melhore e monitore a qualidade em todo o ciclo de vida do aplicativo GenAI usando as métricas do AIe a observabilidade de rastreamento abrangente.
    • Vector Search
    • Armazene e consulte vetores de incorporação com sincronização automática com sua base de conhecimento para aplicativos RAG.

Treinar o modelo clássico de aprendizado de máquina​

Crie modelos de aprendizado de máquina com ferramentas automatizadas e ambientes de desenvolvimento colaborativo.

    • AutoML
    • Crie automaticamente modelos de alta qualidade com o mínimo de código usando engenharia de recurso automatizada e ajuste de hiperparâmetros.
    • Databricks Runtime para ML
    • Clustering pré-configurado com TensorFlow, PyTorch, Keras, e suporte a GPU para desenvolvimento de aprendizagem profunda.
    • MLflow acompanhamento
    • Acompanhe experimentos, compare o desempenho do modelo e gerencie o ciclo de vida completo do desenvolvimento do modelo.
    • recurso engenharia
    • Criar, gerenciar e servir recursos com pipeline automatizado de dados e descoberta de recursos.
    • Notebooks do Databricks
    • Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala, e SQL para ML fluxo de trabalho.

Treinar modelos de aprendizagem profunda​

Usar estruturas integradas para desenvolver modelos de aprendizagem profunda.

implantado e servir modelos​

Implemente modelos na produção com endpoint escalável, inferência de tempo real e monitoramento de nível empresarial.

    • Servindo modelo
    • Implante modelos personalizados e LLMs como ponto de extremidade REST escalonável com dimensionamento automático e suporte a GPU.
    • Gateway de IA
    • Administre e monitore o acesso a modelos generativos AI com acompanhamento de uso, registro de carga útil e controles de segurança.
    • Modelos externos
    • Integrar modelos de terceiros hospedados fora da Databricks com governança e monitoramento unificados.

Monitorar e controlar os sistemas de ML​

Garanta a qualidade do modelo, a integridade dos dados e compliance com ferramentas abrangentes de monitoramento e governança.

    • Unity Catalog
    • Administre dados, recursos, modelos e funções com controle de acesso unificado, acompanhamento de linhagem e descoberta.
    • perfil de dados
    • Monitore a qualidade dos dados, o desempenho do modelo e o desvio da previsão com alerta automatizado e análise da causa raiz.
    • MLflow para modelos
    • Acompanhe, avalie e monitore os aplicativos generativos AI durante todo o ciclo de vida do desenvolvimento.

Produção ML fluxo de trabalho​

escala operações de aprendizado de máquina com fluxo de trabalho automatizado, integração CI/CD e pipeline pronto para produção.

    • Modelos no Unity Catalog
    • Utilize o registro de modelo em Unity Catalog para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implementações.
    • Jobs do Lakeflow
    • Crie um fluxo de trabalho automatizado e um pipeline ETL pronto para produção para o processamento de dados ML.
    • Ray em Databricks
    • escala ML cargas de trabalho com computação distribuída para treinamento e inferência de modelos de grande escala.
    • MLOps fluxo de trabalho
    • Implemente o site MLOps de ponta a ponta com treinamento automatizado, testes e pipeline de implantação.
    • Integração do Git
    • Controle de versão ML code e Notebook com integração perfeita do Git e desenvolvimento colaborativo.