Caracterização para transferência de aprendizagem
Este artigo fornece um exemplo de caracterização para aprendizagem de transferência usando Pandas UDFs.
Caracterização para transferência de aprendizagem em modelos DL
A Databricks oferece suporte à caracterização com modelos de aprendizagem profunda. Modelos pré-treinados de aprendizagem profunda podem ser usados para compute recurso para uso em outros modelos downstream. Databricks suporta a caracterização em escala, distribuindo a computação em um clustering. O senhor pode realizar a caracterização com a aprendizagem profunda biblioteca incluída em Databricks Runtime MLincluindo TensorFlow e PyTorch.
O Databricks também oferece suporte à aprendizagem por transferência, uma técnica intimamente relacionada à caracterização. A transferência de aprendizado permite que você reutilize o conhecimento de um domínio problemático em um domínio relacionado. A featurização é, por si só, um método simples e poderoso para a aprendizagem por transferência: o cálculo do recurso usando um modelo de aprendizagem profunda pré-treinado transfere o conhecimento sobre um bom recurso do domínio original.
Etapas para compute recurso para aprendizagem por transferência
Este artigo demonstra como compute recorrer ao aprendizado de transferência usando um modelo TensorFlow pré-treinado, usando o seguinte fluxo de trabalho:
- começar com um modelo de aprendizagem profunda pré-treinado, neste caso, um modelo de classificação de imagem de
tensorflow.keras.applications. - Trunque a (s) última (s) camada (s) do modelo. O modelo modificado produz um tensor de recurso como saída, em vez de uma previsão.
- Aplique esse modelo a uma nova imagem dataset de um domínio de problema diferente, calculando o recurso para as imagens.
- Use esses recursos para treinar um novo modelo. O Notebook a seguir omite essa etapa final. Para obter exemplos de treinamento de um modelo simples, como a regressão logística, consulte os modelos Train AI e ML.
Exemplo: Usar Pandas UDFs para caracterização
O Notebook a seguir usa Pandas UDFs para executar a etapa de caracterização. Pandas Os UDFs e sua variante mais recente, o Scalar Iterator Pandas UDFs, oferecem flexibilidade APIs, suportam qualquer biblioteca de aprendizagem profunda e proporcionam alto desempenho.