TensorRT – 使用Polygraphy工具比较onnx模型和TensorRT模型的推理结果是否一致
1 比较onnx模型和TensorRT模型推理结果的必要性 在进行模型部署的时候，如果我们使用TensorRT对模型加速，那么一般都会采用深度学习框架>onnx模型>TensorRT模型的技术路线，在onnx模型转换到TensorRT模型的过程中有可能某些算子会丢失精度，从而影响后续的模型推理结果，…
- TensorRT
- 2022-12-12
TensorRT – Polygraphy工具的使用
1 切换python虚拟环境 在Anaconda中激活安装了Polygraphy包以及其依赖项的python环境，以下所有的操作都需要在此虚拟环境中操作，Polygraphy的安装可参考：https://www.stubbornhuang.com/1736/ 2 使用 2.1 API调用 如果正确安…
- TensorRT
- 2021-10-05
TensorRT – 安装TensorRT工具Polygraphy
1 项目地址 Github地址：https://github.com/NVIDIA/TensorRT/tree/master/tools/Polygraphy 2 官方步骤 2.1 官方的安装步骤 2.1.1 预处理包 polygraphy依赖以下包： onnx onnxruntime onnx_g…
- TensorRT
- 2021-10-05