深度学习 – Transformer详解
转载自： 链接：https://wmathor.com/index.php/archives/1438/ 作者：wmathor Transformer 是谷歌大脑在2017年底发表的论文Attention Is All You Need中所提出的 seq2seq 模型。现在已经取得了大范围的应用和扩…
- Transformer
- 2022-07-16
深度学习 – Transformer详细注释
译自： https://nlp.seas.harvard.edu/2018/04/03/attention.html http://nlp.seas.harvard.edu/annotated-transformer/ 在过去的五年里，Transformer一直被很多多关注。本篇文章以逐行实现并详细…
- Transformer
- 2022-07-15
深度学习 – 通俗理解Beam Search Algorithm算法
1 Beam Search Algorithm 在本文中会尽量以通俗易懂的方式介绍Beam Search Algorithm的原理。 在机器翻译领域（Encoder-Decoder模型），将一种语言翻译成另外一种语言时，我们首先需要对源语言的单词序列进行编码，然后通过深度学习模型训练和推理得到中间输…
- 深度学习
- 2022-07-14
Pytorch – nn.Transformer、nn.TransformerEncoderLayer、nn.TransformerEncoder、nn.TransformerDecoder、nn.TransformerDecoder参数详解
1 nn.Transformer 1.1 nn.Transformer定义 1.函数形式 torch.nn.Transformer(d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=20…
- Pytorch
- 2022-07-13
Pytorch – .to()和.cuda()的区别
1 Pytorch中.to()和.cuda()的区别 如果需要指定的设备是GPU则.to()和.cuda()没有区别，如果设备是cpu，则不能使用.cuda()。也就是说.to()既可以指定CPU也可以指定GPU，而.cuda()只能指定GPU。 1.1 .cuda() 1.单GPU os.envi…
- Pytorch
- 2022-07-11
Pytorch – 模型保存与加载以及如何在已保存的模型的基础上继续训练模型
1 模型的保存和加载 1.1 保存与加载整个模型 保存网络的所有模块，代码量少。 但是这种方法缺点是保存模型的时候，序列化的数据被绑定到了特定的类和确切的目录。 这是因为pickle不保存模型类本身，而是保存这个类的路径， 并且在加载的时候会使用。因此， 当在其他项目里使用或者重构的时候，加载模型的…
- Pytorch
- 2022-07-09
深度学习 – 经典的卷积神经网络（CNN）模型结构
转载自：http://shiyanjun.cn/archives/1974.html 本文主要简单介绍在卷积神经网络发展过程中，一些经常用的改进模型，主要包括LeNet-5、AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet、ZFNet这7个模型。本文不会非常深入讲解各…
- 深度学习
- 2022-07-08
深度学习 – 卷积神经网络CNN简介
转载自：http://shiyanjun.cn/archives/1963.html 1 卷积神经网络CNN 卷积神经网络（Convolutional Neural Networks，CNN）是由纽约大学的Yann Lecun于1998年提出的，其本质是一个多层感知机，它是一类包含卷积计算且具有深度…
- 深度学习
- 2022-07-07
Numpy – 保存和加载numpy数组、字典、列表数据
1 numpy保存和加载二进制数据Api 官方文档：https://numpy.org/doc/stable/reference/routines.io.html 在numpy中常用的保存和加载二进制数据主要有以下API。 1.1 numpy.save 官方文档 https://numpy.org/…
- Numpy
- 2022-07-05
深度学习 – 我的深度学习项目代码文件组织结构
1 我的深度学习项目代码文件组织结构 一般来说，深度学习项目需要包含以下内容： 数据集预处理与加载 深度学习模型定义 模型训练 模型推理 根据以上的功能描述，我的深度学习项目代码文件组织结构如下： ├─bin ├─configs ├─data_loader ├─data_preprocess ├─m…
- Pytorch
- 2022-07-02
Pytorch – 为什么要设置随机数种子？
1 Pytorch的随机种子 最近在看一些开源的Pytorch项目时，几乎每一个项目都会设置随机数种子，比如下面这种 class RandomState(object): def __init__(self, seed): torch.set_num_threads(1) torch.backend…
- Pytorch
- 2022-07-01
深度学习 – 图解Transformer，小白也能看懂的Transformer处理过程
译自：https://jinglescode.github.io/2020/05/27/illustrated-guide-transformer/ 1 前言 Transformer是encoder-decoder架构的进一步演变，其在论文Attention is All You Need中提出。虽…
- Transformer
- 2022-06-29