Preparar dados para treinamento distribuído

Este artigo descreve três métodos de preparação de dados para treinamento distribuído: Transmissão em mosaico, Petastorm e TFRecords.

Transmissão em mosaico (recomendado)

A transmissão em mosaico é uma biblioteca de carregamento de dados de código aberto que permite a transmissão eficiente de grandes conjuntos de dados do armazenamento cloud. Essa biblioteca é excelente para lidar com conjuntos de dados maciços que não cabem na memória, pois foi projetada especificamente para o treinamento distribuído e com vários nós de modelos grandes. A transmissão do Mosaic oferece integração perfeita com o site PyTorch e o ecossistema MosaicML. Os artigos a seguir ilustram esse caso de uso:

• Carregar uso de dados Transmissão em mosaico

Petastorm

Petastorm é uma biblioteca de acesso a dados de código aberto que permite o carregamento direto de dados armazenados no formato Apache Parquet. Isso é conveniente para usuários de Databricks e Apache Spark porque Parquet é o formato de dados recomendado. Os artigos a seguir ilustram esse caso de uso:

• Carregar uso de dados Petastorm

TFRecord

Você também pode usar o formato TFRecord como fonte de dados para aprendizagem profunda distribuída. O formato TFRecord é um formato binário orientado a registro simples que muitos aplicativos do TensorFlow usam para dados de treinamento.

tf.data.TFRecordDataset é o dataset TensorFlow , que é composto por registros de arquivos TFRecords. Para obter mais detalhes sobre como consumir dados TFRecord, consulte o guia TensorFlow Consuming TFRecord data.

Os artigos a seguir descrevem e ilustram as formas recomendadas de salvar seus dados em arquivos TFRecord e carregar arquivos TFRecord:

• Salvar Apache Spark DataFrames como arquivos TFRecord