TensorFlow と TensorRTを使用したモデル推論

この記事のサンプルノートブックでは、Databricks が推奨する、TensorFlow と TensorFlowRT を使用したディープラーニング推論ワークフローを示します。この例では、モデル推論のために TensorRT を使用してトレーニング済みの ResNet-50 モデルを最適化する方法を示します。

NVIDIA TensorRT は、ディープラーニング推論アプリケーション向けに低遅延と高スループットを実現する高性能推論オプティマイザーおよびランタイムです。 TensorRT は、Databricks Runtime for Machine Learning の GPU 対応バージョンにインストールされます。

Databricks では、機械学習モデルを運用環境にデプロイするために最適化された G4 インスタンスタイプシリーズを使用することをお勧めします。