TensorRT – 喜大普奔，TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子
1 TensorRT 8.2 EA版本支持爱因斯坦求和算子Einsum NVIDIA在2021年10月6日发布的TensorRT新版本 8.2 Early Access版本终于开始支持爱因斯坦求和算子Einsum，这个消息真是为模型工业化部署的同学省了不少的时间。 TensorRT中具体可支持的On…
- TensorRT
- 2021-10-12
TensorRT – 使用torch普通算子组合替代torch.einsum爱因斯坦求和约定算子的一般性方法
1 问题：TensorRT暂时未实现einsum算子 在ST-GCN中使用了爱因斯坦求和算子torch.einsum， def forward(self, x, A): assert A.size(0) == self.kernel_size x = self.conv(x) n, kc, t, v…
- TensorRT
- 2021-10-08
TensorRT – Windows下TensorRT下载与配置
1 TensorRT下载 官方网站下载地址：https://developer.nvidia.com/zh-cn/tensorrt?term=TensorRT 选择合适的TensorRT版本下载，这里以TensorRT 7为例 进入TensorRT 7下载页面，勾选I Agree To the Te…
- TensorRT
- 2021-10-05
TensorRT – Polygraphy工具的使用
1 切换python虚拟环境 在Anaconda中激活安装了Polygraphy包以及其依赖项的python环境，以下所有的操作都需要在此虚拟环境中操作，Polygraphy的安装可参考：https://www.stubbornhuang.com/1736/ 2 使用 2.1 API调用 如果正确安…
- TensorRT
- 2021-10-05
TensorRT – 安装TensorRT工具Polygraphy
1 项目地址 Github地址：https://github.com/NVIDIA/TensorRT/tree/master/tools/Polygraphy 2 官方步骤 2.1 官方的安装步骤 2.1.1 预处理包 polygraphy依赖以下包： onnx onnxruntime onnx_g…
- TensorRT
- 2021-10-05
TensorRT – 使用trtexec工具转换模型、运行模型、测试网络性能
1 转换模型 1.1 Caffe模型转换为TensorRT模型 将Caffe模型转换为TensorRT模型，启动所有精度以达到最佳性能 trtexec --deploy=mnist.prototex --model=mnist.caffe --saveEngine=mnist.trt --best …
- TensorRT
- 2021-09-19
TensorRT – 解决INVALID_ARGUMENT: getPluginCreator could not find plugin ScatterND version 1,TensorRT找不到ScatterND插件的问题
1 问题出现 最近在使用TensorRT 7.2.3.4中的自带的trtexec工具转换yolov3-spp的onnx模型为TensorRT模型文件时出现了找不到ScatterND插件的错误，错误大致如下： ModelImporter.cpp:135: No importer registered …
- TensorRT
- 2021-09-18
TensorRT – 自带工具trtexec的参数使用说明
本文以TensorRT-7.2.3.4说明自带工具trtexec工具的使用参数进行说明。 1 trtexec的参数使用说明 === Model Options === --uff=<file> UFF model --onnx=<file> ONNX model --mode…
- TensorRT
- 2021-09-17