Ambiente AI Databricks
O ambiente AI Databricks é um ambiente de execução otimizado para GPU, especialmente desenvolvido para AI . É compatível com ambientes de GPU serverless 4 e superiores.
Este novo ambiente simplifica o desenvolvimento, fornecendo um conjunto de bibliotecas totalmente pré-configurado para machine learning (incluindo frameworks como PyTorch, HuggingFace Transformers, etc.) e suporte nativo para GPUs. Ele se integra ao Databricks Notebook, Unity Catalog e MLflow, proporcionando uma experiência integrada. Com o ambiente AI , as equipes ML podem simplesmente selecionar um cluster de GPUs pronto para execução e começar a treinar modelos imediatamente, em vez de gastar dias com configuração e solução de problemas.
Conecte-se ao ambiente AI
Para usar o ambiente AI Databricks a partir de um Notebook Databricks conectado a um compute GPU serverless :
- Em um notebook, clique no menu suspenso Conectar na parte superior e selecione GPU sem servidor .
- Clique no
Para abrir o painel lateral Ambiente .
- Selecione A10 ou H100 no campo Acelerador .
- Selecione AI v4 para o ambiente AI no campo Ambiente base .
- Se você selecionou "Nenhum" no campo "Ambiente base" , selecione a versão do ambiente .
- Clique em Aplicar e, em seguida, confirme que deseja aplicar o compute de GPU serverless ao seu ambiente de notebook.
Para configurar o ambiente Databricks AI para um Notebook Job em uma GPU serverless :
- Na configuração da tarefa do notebook, clique em Editar o ambiente do notebook na seção Ambiente e biblioteca .
- Clique no
Para abrir o painel lateral Ambiente .
- Selecione AI v4 para o ambiente AI no campo Ambiente base .
A nova funcionalidade de execução de tarefas poderá utilizar o ambiente AI Databricks .
Perguntas frequentes
Qual a diferença entre o ambiente AI Databricks e o ambiente do Databricks Runtime para Machine Learning?
Tanto Databricks Runtime para Machine Learning quanto o ambiente Databricks AI oferecem um ambiente compute pré-configurado, ideal para casos de uso de AI/ML . Enquanto Databricks Runtime para Machine Learning é usado com recursos compute clássicos, o ambiente Databricks AI é para compute serverless com GPUs.
Tanto o ambiente Databricks Runtime para Machine Learning quanto o ambiente Databricks AI incluem pacotes comuns machine learning , com algumas diferenças. O mais notável é que o ambiente AI Databricks inclui um pacote mais atualizado, mas não inclui o Tensorflow e GraphFrames. Para obter mais informações sobre o que está incluído no ambiente Databricks AI e no Databricks Runtime for Machine Learning, consulte o ambiente sem servidor notas sobre a versão e Databricks runtime notas sobre a versão.
Problemas conhecidos
- O ambiente AI Databricks não funciona com os campos "Ambiente" e "Biblioteca" na configuração da tarefa para o Notebook Job. Se você criar um novo ambiente de trabalho a partir desse campo, poderá não conseguir selecionar o ambiente AI Databricks .
- O ambiente AI Databricks não suporta a exportação de ambiente.