Amazon
Web Services
Microsoft Azure
Google Cloud PlatformCaracterísticas para aprendizado de transferência
Este artigo fornece um exemplo de criação de recursos para aprendizado de transferência usando pandas UDFs.
Destaque para aprendizado de transferência em modelos DL
Databricks oferece suporte à caracterização com modelos de aprendizagem profunda. Modelos de aprendizagem profunda pré-treinados podem ser usados para compute recursos para uso em outros modelos downstream. O Databricks oferece suporte à caracterização em escala, distribuindo a computação entre clusters. Você pode realizar a featurização com a biblioteca de aprendizagem profunda incluída no Databricks Runtime ML, incluindo TensorFlow e PyTorch.
O Databricks também oferece suporte ao aprendizado de transferência, uma técnica intimamente relacionada à caracterização. O aprendizado por transferência permite que você reutilize o conhecimento de um domínio de problema em um domínio relacionado. A caracterização é em si um método simples e poderoso para o aprendizado de transferência: recursos de computação usando um modelo de aprendizagem profunda pré-treinado transferem conhecimento sobre bons recursos do domínio original.
passos para calcular recursos para aprendizado de transferência
Este artigo demonstra como compute recursos para aprendizado de transferência usando um modelo TensorFlow pré-treinado, usando o seguinte fluxo de trabalho:
começar com um modelo de aprendizagem profunda pré-treinado, neste caso um modelo de classificação de imagem de
tensorflow.keras.applications.Trunque a(s) última(s) camada(s) do modelo. O modelo modificado produz um tensor de recursos como saída, em vez de uma previsão.
Aplique esse modelo a um novo dataset de imagem de um domínio de problema diferente, calculando recursos para as imagens.
Use esses recursos para ensinar um novo modelo. O Notebook a seguir omite esse passo final. Para obter exemplos de treinamento de um modelo simples, como a regressão logística, consulte os modelos ensinar IA e ML .
Exemplo: Use UDFs de pandas para caracterização
O Notebook a seguir usa UDFs de pandas para realizar a caracterização do passo. pandas UDFs, e sua variante mais recente Scalar Iterator pandas UDFs, oferecem APIs flexíveis, suportam qualquer biblioteca de aprendizagem profunda e oferecem alto desempenho.