Treine os modelos AI e ML
Databricks oferece soluções compute flexíveis, adaptadas a diferentes necessidades machine learning , desde ambientes de execução cluster gerenciados até ambientes de GPU totalmente serverless .
-
- computeGPU sem servidor
- Ambiente compute GPU sem servidor otimizado para cargas de trabalho de aprendizagem profunda personalizadas de nó único e de vários nós.
-
- Databricks Runtime para machine learning
- Ambiente compute clássico com biblioteca pré-construída para cargas de trabalho clássicas machine learning e aprendizagem profunda.
compute GPU sem servidor (Beta)
Beta
Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.
computede GPU sem servidor é uma oferta especializada dentro do ecossistema serverless Databricks . É otimizado para cargas de trabalho personalizadas de aprendizagem profunda em um único nó e em vários nós, como o ajuste fino de LLMs ou o treinamento de modelos de visão computacional.
Os principais recursos são:
- Disponibilidade instantânea : Elimina a necessidade de gerenciar a infraestrutura cluster subjacente, permitindo que você conecte um Notebook diretamente ao recurso de GPU serverless .
- Hardware de alto desempenho : Oferece acesso a GPUs A10 para tarefas de baixo custo e GPUs H100 para cargas de trabalho AI de grande escala.
- Ambientes gerenciados : Oferece um ambiente base default para personalização completa ou um ambiente AI pré-carregado com pacotes ML comuns, como Transformers e Ray.
- Escalabilidade flexível : Suporta treinamento distribuído em várias GPUs e nós.
Databricks Runtime para Aprendizado de Máquina
Databricks Runtime for Machine Learning é um ambiente de execução especializado que automatiza a criação de recursos compute com infraestrutura pré-construída. Ele foi projetado para usuários que desejam um ambiente abrangente e pronto para uso, tanto para machine learning clássico quanto para aprendizado profundo.
Os principais recursos são:
- Biblioteca pré-instalada : Inclui bibliotecas populares como PyTorch, TensorFlow e XGBoost, que recebem atualizações frequentes e suporte otimizado.
- Versatilidade computacional : Suporta instâncias baseadas em CPU e GPU, incluindo AWS Graviton para uma melhor relação custo-benefício.
- Otimização : Oferece integração com Photon para acelerar Spark SQL, DataFrames e tarefas de engenharia recursiva.
- Controle de acesso : Requer um modo de acesso dedicado para acesso seguro aos dados através Unity Catalog.