aprendizagem profunda

Este artigo apresenta uma breve introdução ao uso do PyTorch, do Tensorflow e do treinamento distribuído para o desenvolvimento e o ajuste fino de modelos de aprendizagem profunda no Databricks. Ele também inclui links para páginas com exemplos de Notebook que ilustram como usar essas ferramentas.

• Para obter diretrizes gerais sobre a otimização do fluxo de trabalho da aprendizagem profunda em Databricks, consulte as melhores práticas para a aprendizagem profunda em Databricks.
• Para obter informações sobre como trabalhar com modelos de linguagem de grande porte e geradores AI em Databricks, consulte:
  • Modelos de linguagem grandes (LLMs) em Databricks.
  • AI e aprendizado de máquina em Databricks.

PyTorch

O PyTorch está incluído no Databricks Runtime ML e fornece computação de tensor acelerada por GPU e funcionalidades de alto nível para a criação de redes de aprendizagem profunda. O senhor pode realizar treinamento de nó único ou treinamento distribuído com o PyTorch no Databricks. Consulte PyTorch.

TensorFlow

Databricks Runtime ML inclui TensorFlow e TensorBoard, para que o senhor possa usar essas bibliotecas sem instalar nenhum pacote. TensorFlow suporta aprendizagem profunda e cálculos numéricos gerais em CPUs, GPUs e clustering de GPUs. TensorBoard fornece ferramentas de visualização para ajudá-lo a depurar e otimizar o aprendizado de máquina e o aprendizado profundo fluxo de trabalho. Consulte o TensorFlow para obter exemplos de treinamento distribuído e de nó único.

Treinamento distribuído

Como os modelos de aprendizagem profunda consomem muitos dados e computação, o treinamento distribuído pode ser importante. Para obter exemplos de aprendizagem profunda distribuída usando integrações com Ray, TorchDistributor e DeepSpeed, consulte Treinamento distribuído.

Acompanhe o desenvolvimento do modelo de aprendizagem profunda

O acompanhamento continua sendo a pedra angular do ecossistema MLflow e é especialmente vital para a natureza iterativa da aprendizagem profunda. Databricks usa o site MLflow para acompanhar a execução da aprendizagem profunda treinamento e o desenvolvimento de modelos. Consulte Desenvolvimento de modelo de trilha usando o MLflow.