Aprendizado de máquina no Databricks

Crie, implante e gerencie aplicativos de machine learning no Databricks. A plataforma integrada unifica todo o ciclo de vida do ML, desde a preparação de dados até o monitoramento da produção.

Procurando por AI generativa e agentes AI ? Veja Criar agentes AI no Databricks.

Começar

Experimente um início rápido, prepare os dados ou crie um modelo de baixo código.

• • Comece: Crie o seu primeiro Modelo do machine learning no Databricks
  • Construir um modelo de classificação simples com scikit-learn de ponta a ponta.
• • AutoML
  • Crie automaticamente modelos de alta qualidade com o mínimo de código usando engenharia de recurso automatizada e ajuste de hiperparâmetros.
• • Carregar dados para machine learning e aprendizado profundo
  • Carregar e preparar dados para fluxos de trabalho de ML e aprendizagem profunda.
• • Treinar modelos de recomendação
  • Treinar um modelo recomendador com a arquitetura two-tower ou DLRM.

Treinar o modelo clássico de aprendizado de máquina

Crie modelos de aprendizado de máquina com ferramentas automatizadas e ambientes de desenvolvimento colaborativo.

• • Databricks Runtime para ML
  • Clusters pré-configurados com scikit-learn, XGBoost, MLflow e outras bibliotecas de aprendizado de máquina, além de suporte para frameworks de aprendizagem profunda.
• • MLflow acompanhamento
  • Acompanhe experimentos, compare o desempenho do modelo e gerencie o ciclo de vida completo do desenvolvimento do modelo.
• • recurso engenharia
  • Criar, gerenciar e servir recursos com pipeline automatizado de dados e descoberta de recursos.
• • Notebooks do Databricks
  • Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala, e SQL para ML fluxo de trabalho.

Ensinar modelos de aprendizagem profunda

Utilize compute gerenciado e estruturas integradas para desenvolver modelos de aprendizagem profunda.

• • Treinamento distribuído
  • Exemplos de aprendizagem profunda distribuída usando Ray, TorchDistributor e DeepSpeed.
• • Práticas recomendadas de DL
  • Orientação para escolha de framework, carregamento de dados, escalonamento distribuído e gerenciamento do ciclo de vida do modelo de aprendizagem profunda.
• • PyTorch
  • Treinamento distribuído e de nó único usando PyTorch.
• • TensorFlow
  • Treinamento distribuído e de nó único usando TensorFlow e TensorBoard.

implantado e servir modelos

Implemente modelos na produção com endpoint escalável, inferência de tempo real e monitoramento de nível empresarial.

• • Servindo modelo
  • Implante modelos personalizados e LLMs como ponto de extremidade REST escalonável com dimensionamento automático e suporte a GPU.
• • Gateway de IA
  • Governe e monitore o acesso a modelos servidos no Databricks com acompanhamento de uso, registro de payload e controles de segurança.
• • Modelos externos
  • Integrar modelos de terceiros hospedados fora da Databricks com governança e monitoramento unificados.
• • APIs do modelo de fundação
  • Acesse e consulte modelos abertos de última geração hospedados pela Databricks.

Monitorar e controlar os sistemas de ML

Garanta a qualidade do modelo, a integridade dos dados e compliance com ferramentas abrangentes de monitoramento e governança.

• • Unity Catalog
  • Administre dados, recursos, modelos e funções com controle de acesso unificado, acompanhamento de linhagem e descoberta.
• • perfil de dados
  • Monitore a qualidade dos dados, o desempenho do modelo e o desvio da previsão com alerta automatizado e análise da causa raiz.
• • Detecção de anomalia
  • Monitore a atualização e a integridade dos dados no nível do catálogo.
• • MLflow para modelos
  • Acompanhar experimentos, gerenciar modelos no Unity Catalog, implantar e avaliar modelos do machine learning ao longo de todo o ciclo de vida de desenvolvimento.

Produção ML fluxo de trabalho

escala operações de aprendizado de máquina com fluxo de trabalho automatizado, integração CI/CD e pipeline pronto para produção.

• • Modelos no Unity Catalog
  • Utilize o registro de modelo em Unity Catalog para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implementações.
• • Jobs do Lakeflow
  • Crie um fluxo de trabalho automatizado e um pipeline ETL pronto para produção para o processamento de dados ML.
• • Ray em Databricks
  • escala ML cargas de trabalho com computação distribuída para treinamento e inferência de modelos de grande escala.
• • MLOps fluxo de trabalho
  • Implemente o site MLOps de ponta a ponta com treinamento automatizado, testes e pipeline de implantação.