AI e aprendizado de máquina em Databricks

Crie, implante e gerencie aplicativos de aprendizado de máquina e AI com o Mosaic AI, uma plataforma integrada que unifica todo o ciclo de vida do AI, desde a preparação dos dados até o monitoramento da produção.

Para obter um conjunto de tutoriais para que o senhor comece, consulte AI e o tutorial de aprendizado de máquina.

Crie aplicativos generativos em AI

AI Desenvolva e implante aplicativos generativos de nível empresarial, como LLMs ajustados, agentes AI e geração aumentada por recuperação.

Recurso	Descrição
AI Playground	Prototipar e testar modelos generativos do AI com engenharia imediata sem código e ajuste de parâmetros.
Modelos de fundação	Atenda a LLMs de última geração por meio de APIs seguro e escalável com governança e monitoramento integrados.
Estrutura do Mosaic AI Agent	Crie e implante agentes com qualidade de produção, incluindo aplicativos RAG com Python e qualquer biblioteca de criação.
MLflow para GenAI	Meça, melhore e monitore a qualidade em todo o ciclo de vida do aplicativo GenAI usando as métricas do AIe a observabilidade de rastreamento abrangente.
Vector Search	Armazene e consulte vetores de incorporação com sincronização automática com sua base de conhecimento para aplicativos RAG.

Treinar o modelo clássico de aprendizado de máquina

Crie modelos de aprendizado de máquina com ferramentas automatizadas e ambientes de desenvolvimento colaborativo.

Recurso	Descrição
AutoML	Crie automaticamente modelos de alta qualidade com o mínimo de código usando engenharia de recurso automatizada e ajuste de hiperparâmetros.
Databricks Runtime para ML	Clustering pré-configurado com TensorFlow, PyTorch, Keras, e suporte a GPU para desenvolvimento de aprendizagem profunda.
MLflow acompanhamento	Acompanhe experimentos, compare o desempenho do modelo e gerencie o ciclo de vida completo do desenvolvimento do modelo.
recurso engenharia	Criar, gerenciar e servir recursos com pipeline automatizado de dados e descoberta de recursos.
Notebooks do Databricks	Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala, e SQL para ML fluxo de trabalho.

Treinar modelos de aprendizagem profunda

Usar estruturas integradas para desenvolver modelos de aprendizagem profunda.

Recurso	Descrição
Treinamento distribuído	Exemplos de aprendizagem profunda distribuída usando Ray, TorchDistributor e DeepSpeed.
Práticas recomendadas para aprendizagem profunda no Databricks	Práticas recomendadas para aprendizagem profunda em Databricks.
PyTorch	Treinamento distribuído e de nó único usando PyTorch.
TensorFlow	Treinamento distribuído e de nó único usando TensorFlow e TensorBoard.
Soluções de referência	Soluções de referência para aprendizagem profunda.

implantado e servir modelos

Implemente modelos na produção com endpoint escalável, inferência de tempo real e monitoramento de nível empresarial.

Recurso	Descrição
Servindo modelo	Implante modelos personalizados e LLMs como ponto de extremidade REST escalonável com dimensionamento automático e suporte a GPU.
Gateway de IA	Administre e monitore o acesso a modelos generativos AI com acompanhamento de uso, registro de carga útil e controles de segurança.
Modelos externos	Integrar modelos de terceiros hospedados fora da Databricks com governança e monitoramento unificados.
APIs do modelo de fundação	Acesse e consulte modelos abertos de última geração hospedados pela Databricks.

Monitorar e controlar os sistemas de ML

Garanta a qualidade do modelo, a integridade dos dados e compliance com ferramentas abrangentes de monitoramento e governança.

Recurso	Descrição
Unity Catalog	Administre dados, recursos, modelos e funções com controle de acesso unificado, acompanhamento de linhagem e descoberta.
Monitoramento do lakehouse	Monitore a qualidade dos dados, o desempenho do modelo e o desvio da previsão com alerta automatizado e análise da causa raiz.
MLflow para modelos	Acompanhe, avalie e monitore os aplicativos generativos AI durante todo o ciclo de vida do desenvolvimento.

Produção ML fluxo de trabalho

escala operações de aprendizado de máquina com fluxo de trabalho automatizado, integração CI/CD e pipeline pronto para produção.

Recurso	Descrição
Modelos no Unity Catalog	Utilize o registro de modelo em Unity Catalog para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implementações.
Jobs do Lakeflow	Crie um fluxo de trabalho automatizado e um pipeline ETL pronto para produção para o processamento de dados ML.
Ray em Databricks	escala ML cargas de trabalho com computação distribuída para treinamento e inferência de modelos de grande escala.
MLOps fluxo de trabalho	Implemente o site MLOps de ponta a ponta com treinamento automatizado, testes e pipeline de implantação.
Integração do Git	Controle de versão ML code e Notebook com integração perfeita do Git e desenvolvimento colaborativo.