Transformer原理
转载自Transformer原理，如侵联删 Transformer由论文Attention is All You Need提出，本文大部分内容来源于Transformer模型详解（图解最完整版），对于不理解的地方，我会加上个人注解。 1 Attention简介 1.1 Attention注意力机制 …
- Transformer
- 2024-03-20
完全图解RNN、RNN变体、Seq2Seq、Attention机制
本文转载自：完全图解RNN、RNN变体、Seq2Seq、Attention机制，如侵联删 本文主要是利用图片的形式，详细地介绍了经典的RNN、RNN几个重要变体，以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角，帮助初学者更好地入门。 1 从单层网络谈起 在学习RN…
- RNN
- 2024-03-14
理解Transformer
本文来自于知乎：为什么我还是无法理解Transformer的高赞回答 要理解和熟悉一个新的技术/新模型，比较好的方式是通过以下框架结构来熟悉： 为什么：一个新模型的诞生，一般是解决了现有的模型不能解决的一些问题。因此需了解该技术提出的背景和创新点。 是什么 ：熟悉这个模型的内容和架构、训练过程等。 …
- Transformer
- 2024-03-12
Transformer的结构
以下内容摘自：https://transformers.run/back/transformer/，里面”原始结构“部分的内容对我自己理解Transformer结构有很大的帮助。 1 Transformer的结构 1.1 注意力层 Transformer 模型的标志就是采用了注意力层 (Attent…
- Transformer
- 2024-03-11
Seq2Seq模型和Attention机制
转载自：Seq2Seq模型和Attention机制，如侵联删 pdf: NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 1 RNN的多种结构 首先从RNN的结构说起，根据输出和输入序列不同数量RNN可以有多种…
- Transformer
- 2024-03-08
Attention和Self-Attention的区别
1 Attention和Self-Attention的区别 Attention：以Encoder-Decoder框架为例，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention发生在Target的…
- Transformer
- 2024-03-08
GPU并发？理解CUDA的并发执行与计算资源调度
## 1 CUDA计算是否可以并发？ CUDA程序运行中CPU端一般叫做host，GPU端一般叫做Device。 CPU端对计算资源进行划分的单位为进程，GPU端对计算资源进行划分的单位为context。多核心CPU可以同一时刻多个进程/线程并发执行，GPU一个时刻只允许一个context允许，也就…
- NVIDIA
- 2024-01-19
NCNN – ncnn将onnx模型转换为fp16模型
本篇文章将详细说明如何将onnx模型转换为在ncnn中可以使用的fp16半精度模型。 本文所使用的操作系统为Windows，使用的全部是ncnn发布包中自带的工具。首先使用onnx2ncnn将onnx模型转换为ncnn的param和bin模型，然后使用ncnnoptimize工具将上一步转换的par…
- NCNN
- 2023-12-07
轻量级目标检测模型和算法整理
1 轻量级目标检测模型 目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（物体），确定它们的类别和位置，是计算机视觉领域的核心问题之一。目前目标检测算法发展和更新非常快，各种改进的目标检测算法不仅在精度上越来越高，体积越来于晓，并且推理速度越来越快。许多考虑在边缘设备和…
- 目标检测
- 2023-12-06
目标检测 – 使用labelimg制作自定义目标检测数据集
1 下载labelimg标注工具 labelimg github地址：https://github.com/HumanSignal/labelImg 进入Release页面，为了避免需要创建Python环境，这里直接下载Windows的二进制exe包。 本文以Windows二进制包windows_v…
- 目标检测
- 2023-11-23
目标检测 – VOC数据格式和Yolo数据格式
在使用labelimg标注图片时，lable提供了两种标注信息保存格式，一种是VOC，另一种则是Yolo。 1 VOC数据格式 在labelimage中，对一个图片完成标注之后，如果默认选择的是PascalVOC格式 则会将标注信息保存为以下的xml文件，主要的信息包括： filename：图片名称…
- 目标检测
- 2023-11-23