使用 TensorFlow 和 TensorRT 进行模型推理
本文中的示例笔记本使用 TensorFlow 和 TensorFlowRT 演示了 Azure Databricks 建议的深度学习推理工作流。 此示例演示如何使用 TensorRT 优化训练后的 ResNet-50 模型以进行模型推理。
NVIDIA TensorRT 是一种高性能推理优化器和运行时，可为深度学习推理应用程序提供低延迟和高吞吐量。 TensorRT 安装在启用了 gpu 的版本的用于机器学习的 Databricks Runtime 中。