8.3.3 TensorRT源码分析

文档摘要

TensorRT源码分析一、前言图1. 加速流程 NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。提供了包括神经网络模型计算图优化、INT8量化、FP16低精度运算等神经网络前向推理优化的方法。目前TensorRT提供了C++与Python的API接口，本文中主要使用C++接口为例说明TensorRT框架的一般使用流程。二、TensorRT 库构成以编译后源码压缩包TensorRT-7.0.0.11.Ubuntu-18.04.x8664-gnu.cuda-10.0.cudnn7.