Geração de características para transferência de aprendizagem

Este artigo fornece um exemplo de extração de características para aprendizagem transferencial usando pandas UDFs.

Featurização para aprendizagem por transferência em modelos de DL

O Azure Databricks suporta a featurização com modelos de aprendizagem profunda. Modelos de aprendizagem profunda pré-treinados podem ser usados para calcular recursos para uso em outros modelos downstream. O Azure Databricks suporta a caracterização em escala, distribuindo a computação por um cluster. Você pode executar a featurização com bibliotecas de aprendizado profundo incluídas no Databricks Runtime ML, incluindo TensorFlow e PyTorch.

O Azure Databricks também suporta a transferência de aprendizagem, uma técnica estritamente relacionada com a featurização. A transferência de aprendizagem permite reutilizar conhecimentos de um domínio de problema noutro domínio parecido. A featurização é em si um método simples e poderoso para a transferência de aprendizagem: o cálculo das características através de um modelo de aprendizagem profunda pré-treinado transfere conhecimentos sobre boas características do domínio original.

Etapas para calcular caraterísticas para aprendizagem de transferência

Este artigo demonstra como calcular recursos para transferência de aprendizagem usando um modelo TensorFlow pré-treinado, usando o seguinte fluxo de trabalho:

1. Comece com um modelo de aprendizagem profunda pré-treinado, neste caso um modelo de classificação de imagem da tensorflow.keras.applications.
2. Truncar a(s) última(s) camada(s) do modelo. O modelo modificado produz um tensor de características como saída, em vez de previsão.
3. Aplique esse modelo a um novo conjunto de dados de imagem de um domínio de problema diferente, recursos de computação para as imagens.
4. Use esses recursos para treinar um novo modelo. O bloco de notas seguinte omite este passo final. Para obter exemplos de treinamento de um modelo simples, como regressão logística, consulte Treinar modelos de IA e ML.

Exemplo: Utilize funções definidas pelo utilizador (UDFs) de pandas para criação de características.

O notebook a seguir usa pandas UDFs para executar a etapa de featurização. Os pandas UDFs, e sua variante mais recente Scalar Iterator pandas UDFs, oferecem APIs flexíveis, suportam qualquer biblioteca de aprendizado profundo e oferecem alto desempenho.

Featurização e transferência de aprendizagem com o TensorFlow

Obter caderno