Visual Studio配置NVIDIA Maxine Video Effects SDK开发环境
1 NVIDIA Maxine Video Effects SDK NVIDIA Maxine Video Effects SDK 支持基于AI的视频效果，其底层使用的深度学习模型通过 NVIDIA AI 进行优化，使用 NVIDIA® TensorRT™ 进行高性能推理，使开发人员能够在实时应用程…
- NVIDIA
- 2023-10-11
NVIDIA Maxine是什么？可以做什么？
1 NVIDIA Maxine 官网地址：https://developer.nvidia.com/maxine 1.1 NVIDIA Maxine是什么？ NVIDIA Maxine 是一套 GPU 加速的 AI SDK 和云原生微服务，用于部署可实时增强音频、视频和增强现实效果的 AI 功能。M…
- NVIDIA
- 2023-10-11
TensorRT – 学习和开发的相关网页备忘
1 TensorRT 学习和开发的相关网页 TensorRT主页：https://developer.nvidia.com/tensorrt TensorRT入门文档：https://docs.nvidia.com/deeplearning/tensorrt/index.html TensorRT开…
- TensorRT
- 2023-09-25
OnnxRuntime – Linux配置OnnxRuntime开发环境
之前都是在Windows系统上使用Onnxruntime部署模型，用的Visual Studio配置开发Onnxruntime非常简单，具体的教程可以看我之前发的这篇文章：OnnxRuntime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境。最近有将…
- OnnxRuntime
- 2023-09-05
OnnxRuntime – 如何部署多个输入和多个输出tensor的onnx模型
1 OnnxRuntime如何部署多个输入和多个输出的模型 1.1 OnnxRuntime仓库问题答疑 这个问题其实在OnnxRuntime的Github下面的FAQ.md文档中直接回答过这个问题，这个问题的链接在这里。 在这个问题的回答中官方还贴心的给出了一个有3个输入和3个输出的模型推理示例代码…
- OnnxRuntime
- 2023-08-24
OnnxRuntime – C++捕获OnnxRuntime中的异常
1 如何捕获OnnxRuntime中的异常 之前在写OnnxRuntime部署模型代码的时候没有写捕获异常的代码，导致推理过程出错就直接崩溃。今天查了一下，在OnnxRuntime中是有异常处理机制的，OnnxRuntime中提供了继承std::exception的结构体Ort::Exception…
- OnnxRuntime
- 2023-08-24
C++ – Yolo的letterbox图片预处理方法，缩放图片不失真
1 letter box预处理方法 在yolo家族的一系列目标检测模型或者其他与视觉相关的深度学习模型的部署过程中，一般来说，如果导出的是静态shape的模型，那么我们先要将输入的图片resize到给定的图片大小，如果使用常规的resize方法，比如将一张1920x1080的图片resize到640…
- C++
- 2023-07-17
TensorRT – 使用TensorRT C++ SDK部署模型时推理时间波动不稳定或者推理速度越来越慢的问题
1 使用TensorRT C++ SDK部署模型推理时间不稳定或者推理速度越来越慢的问题 最近今天在使用TensorRT C++ SDK部署PaddleSeg的PPMattingV2-512模型，如果只是对单张图片进行推理的话，推理一张图片在8-10ms左右。如果对摄像头或者是视频文件进行推理，前面…
- TensorRT
- 2023-07-07
PaddlePaddle – 抠图模型PP-MattingV2环境配置与Onnx模型导出
1 PaddleSeg/Matting的环境配置 PaddSeg Github：https://github.com/PaddlePaddle/PaddleSeg/，本文使用的为release/2.8版本。 PaddleSeg的有关抠图的Matting的模型都位于：https://github.co…
- PaddlePaddle
- 2023-07-05
PaddlePaddle – 使用Paddle2Onnx将Paddle模型导出为onnx模型
1 Paddle2ONNX简介 Github:https://github.com/PaddlePaddle/Paddle2ONNX Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括…
- PaddlePaddle
- 2023-07-05
深度学习 – 监督学习、半监督学习、无监督学习、自监督学习、强化学习等机器学习方式的概念、区别、优缺点
在机器学习中，有几种主要的学习方式：监督学习、无监督学习、半监督学习、自监督学习和强化学习等，本文将详细介绍这几种学习方式的概念和优缺点。 1 机器学习方式 1.1 监督学习 监督学习(Supervised Learning)利用大量的标注数据来训练模型，通过对已有标记数据进行学习，训练模型可以对未…
- 深度学习
- 2023-06-25
Pytorch – 在Pytroch中实现图片HWC与CHW相互转换、RGB与BGR相互转换
在Pytorch中对图片数据的tensor进行HWC和CHW转换、RGB和BGR的转换是常常使用到的数据预处理操作。 1 HWC与CHW互转 HWC转CHW 假设输入图片tensor格式为BHWC，比如1x224x224x3，在Pytorch转成BCHW其实也就是简单的维度变换 x = x.perm…
- Pytorch
- 2023-06-07