TensorRT – Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues
1 问题
今天使用TensorRT 8.5的trtexec工具转换具有动态维度输入的onnx模型时出现了以下的提示信息
Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues
意思 使用预览特征kFASTER_DYNAMIC_SHAPES_0805可以提供性能和处理潜在的函数问题，之前我的转换命令行如下
trtexec --onnx=example.onnx --saveEngine=example.trt --workspace=102400 --minShapes=video:1x10x512 --optShapes=video:1x232x512 --maxShapes=video:1x500x512
那么我们如果要使用kFASTER_DYNAMIC_SHAPES_0805，我们可以使用--preview命令行参数标志预览特征，那么修改之后的命令行如下
trtexec --onnx=example.onnx --saveEngine=example.trt --workspace=102400 --minShapes=video:1x10x512 --optShapes=video:1x232x512 --maxShapes=video:1x500x512 --preview=+fasterDynamicShapes0805
使用这个命令，在转换动态维度输入的onnx模型时就不会再出现上述警告了。
本文作者：StubbornHuang
版权声明：本文为站长原创文章，如果转载请注明原文链接！
原文标题：TensorRT – Using PreviewFeaturekFASTER_DYNAMIC_SHAPES_0805 can help improve performance and resolve potential functional issues
原文链接：https://www.stubbornhuang.com/2453/
发布于：2022年12月15日 14:05:59
修改于：2023年06月21日 17:43:06
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
文章末尾
评论
52