8.3.1 TensorRT安装配置

文档摘要

TensorRT安装配置一、简介 TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。 TensorRT 在运行时，加载一个已经训练好的神经网络，创建一个经过内部高度优化的引擎（engine），来进行快速计算。TensorRT 同时提供 C++ 和 Python API 接口。