TensorFlow と TensorRT を使用したモデル推論

この記事のノートブックの例は、TensorFlow と TensorFlowRT を使用した Databricks の推奨ディープラーニング推論ワークフローを示しています。この例では、学習済みの ResNet-50 モデルを TensorRT で最適化してモデル推論を行う方法を示します。

NVIDIA TensorRT は、ディープラーニング推論アプリケーション向けの低遅延と高スループットを実現する高性能推論オプティマイザーおよびランタイムです。 TensorRT は、 GPU 対応バージョンの Databricks Runtime for Machine Learning にインストールされます。

Databricks 、機械学習モデルを本番運用にデプロイするために最適化された G4 インスタンスタイプシリーズを使用することをお勧めします。