aprendizagem profunda

Este artigo apresenta uma breve introdução ao uso do PyTorch, do Tensorflow e do treinamento distribuído para o desenvolvimento e o ajuste fino de modelos de aprendizagem profunda no Databricks. Ele também inclui links para páginas com exemplos de Notebook que ilustram como usar essas ferramentas.

• Para obter diretrizes gerais sobre a otimização do fluxo de trabalho da aprendizagem profunda em Databricks, consulte as melhores práticas para a aprendizagem profunda em Databricks.
• Para obter informações sobre como trabalhar com modelos de linguagem de grande porte e geradores AI em Databricks, consulte:
  • Modelos de linguagem grandes (LLMs) em Databricks.
  • AI e aprendizado de máquina em Databricks.

PyTorch

PyTorch está incluído no Databricks Runtime ML e fornece computação de tensores acelerada por GPU e funcionalidades de alto nível para a construção de redes de aprendizado profundo. Você pode realizar treinamento em um único nó ou treinamento distribuído com PyTorch no Databricks. See PyTorch. Para um tutorial completo em formato de notebook usando PyTorch e MLflow, veja Modelo de aprendizagem profunda de ponta a ponta com PyTorch.

TensorFlow

Databricks Runtime ML inclui TensorFlow e TensorBoard, para que o senhor possa usar essas bibliotecas sem instalar nenhum pacote. TensorFlow suporta aprendizagem profunda e cálculos numéricos gerais em CPUs, GPUs e clustering de GPUs. TensorBoard fornece ferramentas de visualização para ajudá-lo a depurar e otimizar o aprendizado de máquina e o aprendizado profundo fluxo de trabalho. Consulte o TensorFlow para obter exemplos de treinamento distribuído e de nó único.

Treinamento distribuído

Como os modelos de aprendizagem profunda consomem muitos dados e computação, o treinamento distribuído pode ser importante. Para obter exemplos de aprendizagem profunda distribuída usando integrações com Ray, TorchDistributor e DeepSpeed, consulte Treinamento distribuído.

Acompanhe o desenvolvimento do modelo de aprendizagem profunda

O acompanhamento continua sendo a pedra angular do ecossistema MLflow e é especialmente vital para a natureza iterativa da aprendizagem profunda. Databricks usa o site MLflow para acompanhar a execução da aprendizagem profunda treinamento e o desenvolvimento de modelos. Consulte Desenvolvimento de modelo de trilha usando o MLflow.