Inferência de modelo usando o TensorFlow e o TensorRT

O notebook de exemplo neste artigo demonstra o fluxo de trabalho de inferência de aprendizado profundo recomendado pelo Azure Databricks com TensorFlow e TensorFlowRT. Esse exemplo mostra como otimizar um modelo ResNet-50 treinado com o TensorRT para inferência de modelo.

O NVIDIA TensorRT é um otimizador e runtime de inferência de alto desempenho que fornece baixa latência e alta taxa de transferência para aplicativos de inferência de aprendizado profundo. O TensorRT está instalado na versão habilitada para GPU do Databricks Runtime para Machine Learning.

Notebook de inferência de modelo do TensorFlow/TensorRT

Obter notebook