Aprendizado de máquina no Databricks

Crie, implante e gerencie aplicativos de machine learning no Databricks. A plataforma integrada unifica todo o ciclo de vida do ML, desde a preparação de dados até o monitoramento da produção.

Procurando por AI generativa e agentes AI ? Veja Criar agentes AI no Databricks.

Começar

Experimente um início rápido, vibre o código de um modelo e use notebooks.

• • Comece: Crie o seu primeiro Modelo do machine learning no Databricks
  • Crie e implante um modelo de classificação simples com o scikit-learn.
• • Use o Genie Code para ciência de dados.
  • Use um agente de AI para explorar dados, criar modelos e iterar.
• • Notebooks do Databricks
  • Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala e SQL.
• • Conceitos: Ciência de dados e machine learning no Databricks
  • Conheça os principais conceitos por trás da ciência de dados e do machine learning no Databricks.

Treinar o modelo clássico de aprendizado de máquina

Desenvolva recursos, crie modelos do machine learning e rastreie experimentos.

• • featureStore
  • Faça engenharia de recursos, gerencie recursos no Unity Catalog e disponibilize recursos em produção.
• • Exemplos de treinamento de modelo
  • Explore exemplos completos de treinamento de modelos clássicos de ML com bibliotecas populares.
• • Databricks Runtime para ML
  • Clusters pré-configurados com scikit-learn, XGBoost, MLflow e outras bibliotecas de aprendizado de máquina, além de suporte para frameworks de aprendizagem profunda.
• • MLflow acompanhamento
  • Acompanhe experimentos, compare o desempenho do modelo e gerencie o ciclo de vida completo do desenvolvimento do modelo.

Ensinar modelos de aprendizagem profunda

Utilize compute gerenciado e estruturas integradas para desenvolver modelos de aprendizagem profunda.

• • RuntimeAI
  • Use compute de GPU serverless para cargas de trabalho personalizadas de treinamento de aprendizagem profunda e inferência.
• • Exemplos de treinamento distribuído
  • Explore exemplos de aprendizagem profunda distribuída usando Ray, TorchDistributor e DeepSpeed.
• • Práticas recomendadas de DL
  • Saiba mais sobre a escolha do framework, carregamento de dados, escalabilidade distribuída e gerenciamento do ciclo de vida do modelo de aprendizagem profunda.
• • Ray em Databricks
  • escala ML cargas de trabalho com computação distribuída para treinamento e inferência de modelos de grande escala.

implantado e servir modelos

Implante modelos em produção com endpoints escaláveis para inferência em tempo real, transmissão ou lotes.

• • Servindo modelo
  • Implante modelos personalizados e LLMs como endpoints REST com dimensionamento automático e suporte a GPU.
• • Gateway de IA
  • Governe e monitore o acesso a modelos servidos no Databricks com acompanhamento de uso, registro de payload e controles de segurança.
• • Inferência de batch
  • Implante modelos para inferência e previsão em lotes e transmissão em grandes datasets.
• • APIs do modelo de fundação
  • Acesse e consulte modelos GenAI de última geração hospedados pelo Databricks.

Monitorar e controlar os sistemas de ML

Garanta a qualidade do modelo, a integridade dos dados e compliance com ferramentas abrangentes de monitoramento e governança.

• • Unity Catalog
  • Administre dados, recursos, modelos e funções com controle de acesso unificado, acompanhamento de linhagem e descoberta.
• • MLflow para modelos
  • Gerencie todo o ciclo de vida de ML, de experimentos e modelos à avaliação e implantação.
• • Detecção de anomalia
  • Monitore a atualização e a integridade dos dados no nível do catálogo.
• • perfil de dados
  • Monitore a qualidade dos dados, o desempenho do modelo e o desvio da previsão com alerta automatizado e análise da causa raiz.

Produção ML fluxo de trabalho

escala operações de aprendizado de máquina com fluxo de trabalho automatizado, integração CI/CD e pipeline pronto para produção.

• • Modelos no Unity Catalog
  • Utilize o registro de modelo em Unity Catalog para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implementações.
• • Jobs do Lakeflow
  • Crie fluxos de trabalho automatizados para ML pipelines.
• • Pacotes de Automação Declarativa
  • Gerencie a infraestrutura do Databricks como código para CI/CD, incluindo treinamento e implantação de ML.
• • MLOps fluxo de trabalho
  • Saiba mais sobre MLOps de ponta a ponta com pipelines automatizados de treinamento, teste e implantação.