移动端Android/ios深度学习模型部署框架总结
本文对在移动端深度模型部署时目前常用的框架进行粗略总结。 1 NCNN Github：https://github.com/Tencent/ncnn 企业：腾讯 NCNN是一个为手机端极致优化的高性能神经网络前向计算框架。 ncnn 从设计之初深刻考虑手机端的部署和使用。 无第三方依赖，跨平台，手机…
- 模型部署
- 2023-03-21
OnnxRuntime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境
Onnx Runtime模型部署笔记系列： Onnx Runtime – 模型部署笔记1，Onnx Runtime简介 Onnx Runtime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境 1 下载Onnx Runtime Onnx Runtime…
- OnnxRuntime
- 2023-03-20
OnnxRuntime – 模型部署笔记1，OnnxRuntime简介
OnnxRuntime模型部署笔记系列： Onnx Runtime – 模型部署笔记1，Onnx Runtime简介 Onnx Runtime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境 1 Onnx Runtime Onnx Runtime 官网…
- OnnxRuntime
- 2023-03-20
深度学习 – 归纳轻量级神经网络（长期更新）
SqueezeNet 论文标题：SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size 论文： Iandola F N, Han S, Moskewicz M W, et al. S…
- 深度学习
- 2023-03-17
深度学习 – 在大数据集下，内存容量与磁盘IO速度影响模型训练速度的问题
1 模型训练时出现的问题 内存容量和磁盘IO速度影响GPU利用率，进而影响模型训练速度 如果要想在模型训练时利用GPU，提高GPU的利用率，不受限于IO瓶颈，一般常用的方式是： 数据预加载，将所有数据都预加载到内存中，内存的读写速度很快，从内存传递数据到GPU速度也很快 数据预先离线处理，然后存储在…
- 深度学习
- 2023-03-16
TensorRT – 基于TensorRT的多线程并发推理方案
1 TensorRT的多线程并发推理方案 TensorRT在对模型推理速度已经有了非常大的提升了，那如果能够基于TensorRT做并行推理，既可以有效降低推理延迟，也能增加服务吞吐量，那岂不是酷毙了？ 那么能用TensorRT做多线程并发吗？ 我们看看TensorRT的官方开发者文档怎么说： In …
- TensorRT
- 2023-03-06
TensorRT – 计算模型推理时间
1 TensorRT的性能衡量标准 使用 TensorRT 进行模型优化工作之前，必须确定应该测量什么。没有衡量标准，就不可能取得可靠的进展或衡量是否取得了成功 Latency 第一个衡量标准是从输入数据经过网络然后输出的时间，这个时间称为延迟(Latency)。在一些项目中，较低的模型推理延迟是非…
- TensorRT
- 2023-03-06
TensorRT – Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors
1 TensorRT加载模型出现警告Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause er…
- TensorRT
- 2023-03-03
TensorRT – TensorRT was linked against cuBLAS/cuBLAS LT 11.6.1 but loaded cuBLAS/cuBLAS LT 11.5.4错误提示
1 TensorRT was linked against cuBLAS/cuBLAS LT 11.6.1 but loaded cuBLAS/cuBLAS LT 11.5.4 使用TensorRT推理模型时，有时候会看到以下TensorRT自己打出的日志 TensorRT was linked a…
- TensorRT
- 2023-03-02
深度学习 – 语音识别框架Wenet网络设计与实现
转载自Wenet网络设计与实现，这个文章是Wenet团队对Wenet比较全面的介绍，也在很多地方解答了我在看wenet源码时的疑惑，会时不时翻出来再看的文章，但是这个文章是托管在Github上的，所以为了防止某些不可控的原因导致无法阅读原文，所以在本站对原文进行完整备份，仅用于个人阅读，如果原作者认…
- 深度学习
- 2023-01-13
深度学习 – 语音识别框架wenet中的CTC Prefix Beam Search算法的实现
1 Wenet中的CTC Prefix Beam Search Decode的实现 下面是Wenet网络的流程图 上图来自于：http://placebokkk.github.io/wenet/2021/06/04/asr-wenet-nn-1.html 语音特征数据在经过Encoder后会使用CT…
- 深度学习
- 2023-01-13
Pytorch – 使用pytorch自带的Resnet作为网络的backbone
在使用Pytorch搭建自己的神经网络框架时，经常需要使用Pytorch中内置的torchvision.models中的模型作为特征提取的Backbone，然后再在这个基础上进行更加复杂的网络搭建。 在这里以使用Pytorch中内置的Resnet18为例，如何作为Backbone层进行使用，看以下示…
- Pytorch
- 2023-01-06