OnnxRuntime – 从内存数据中加载onnx模型进行推理
1 从内存中加载onnx模型的必要性 使用OnnxRuntime部署onnx模型时，目前常用的的做法是直接从本地加载onnx模型文件。这种方式在做模型快速部署和测试时操作简单，节省部署时间。但是如果在一个商业项目中使用这种方式部署模型，其他人都可以很轻松的拿到你网络的onnx模型，低阶一点的就是直接…
- OnnxRuntime
- 2023-10-25
深度学习 – 常用的开源AI模型库
1 什么是AI模型库？ AI模型库是一种集成了各种AI模型和算法的资源库，收集了不同AI任务的预训练SOTA模型，有的甚至提供用户进行模型训练、模型推理和AI应用开发的基础工具和组件。 AI模型库集成了各种经过训练和优化的基础模型和算法，用户可以直接使用所提供的模型进行部署和应用开发，无需从头开始训…
- 人工智能
- 2023-10-24
Visual Studio配置NVIDIA Maxine Video Effects SDK开发环境
1 NVIDIA Maxine Video Effects SDK NVIDIA Maxine Video Effects SDK 支持基于AI的视频效果，其底层使用的深度学习模型通过 NVIDIA AI 进行优化，使用 NVIDIA® TensorRT™ 进行高性能推理，使开发人员能够在实时应用程…
- NVIDIA
- 2023-10-11
NVIDIA Maxine是什么？可以做什么？
1 NVIDIA Maxine 官网地址：https://developer.nvidia.com/maxine 1.1 NVIDIA Maxine是什么？ NVIDIA Maxine 是一套 GPU 加速的 AI SDK 和云原生微服务，用于部署可实时增强音频、视频和增强现实效果的 AI 功能。M…
- NVIDIA
- 2023-10-11
TensorRT – 学习和开发的相关网页备忘
1 TensorRT 学习和开发的相关网页 TensorRT主页：https://developer.nvidia.com/tensorrt TensorRT入门文档：https://docs.nvidia.com/deeplearning/tensorrt/index.html TensorRT开…
- TensorRT
- 2023-09-25
OnnxRuntime – Linux配置OnnxRuntime开发环境
之前都是在Windows系统上使用Onnxruntime部署模型，用的Visual Studio配置开发Onnxruntime非常简单，具体的教程可以看我之前发的这篇文章：OnnxRuntime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境。最近有将…
- OnnxRuntime
- 2023-09-05
OnnxRuntime – 如何部署多个输入和多个输出tensor的onnx模型
1 OnnxRuntime如何部署多个输入和多个输出的模型 1.1 OnnxRuntime仓库问题答疑 这个问题其实在OnnxRuntime的Github下面的FAQ.md文档中直接回答过这个问题，这个问题的链接在这里。 在这个问题的回答中官方还贴心的给出了一个有3个输入和3个输出的模型推理示例代码…
- OnnxRuntime
- 2023-08-24
OnnxRuntime – C++捕获OnnxRuntime中的异常
1 如何捕获OnnxRuntime中的异常 之前在写OnnxRuntime部署模型代码的时候没有写捕获异常的代码，导致推理过程出错就直接崩溃。今天查了一下，在OnnxRuntime中是有异常处理机制的，OnnxRuntime中提供了继承std::exception的结构体Ort::Exception…
- OnnxRuntime
- 2023-08-24
C++ – Yolo的letterbox图片预处理方法，缩放图片不失真
1 letter box预处理方法 在yolo家族的一系列目标检测模型或者其他与视觉相关的深度学习模型的部署过程中，一般来说，如果导出的是静态shape的模型，那么我们先要将输入的图片resize到给定的图片大小，如果使用常规的resize方法，比如将一张1920x1080的图片resize到640…
- C++
- 2023-07-17
TensorRT – 使用TensorRT C++ SDK部署模型时推理时间波动不稳定或者推理速度越来越慢的问题
1 使用TensorRT C++ SDK部署模型推理时间不稳定或者推理速度越来越慢的问题 最近今天在使用TensorRT C++ SDK部署PaddleSeg的PPMattingV2-512模型，如果只是对单张图片进行推理的话，推理一张图片在8-10ms左右。如果对摄像头或者是视频文件进行推理，前面…
- TensorRT
- 2023-07-07
PaddlePaddle – 抠图模型PP-MattingV2环境配置与Onnx模型导出
1 PaddleSeg/Matting的环境配置 PaddSeg Github：https://github.com/PaddlePaddle/PaddleSeg/，本文使用的为release/2.8版本。 PaddleSeg的有关抠图的Matting的模型都位于：https://github.co…
- PaddlePaddle
- 2023-07-05
PaddlePaddle – 使用Paddle2Onnx将Paddle模型导出为onnx模型
1 Paddle2ONNX简介 Github:https://github.com/PaddlePaddle/Paddle2ONNX Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括…
- PaddlePaddle
- 2023-07-05