Pytorch – torch.optim优化器
深度学习的目标是通过不断改变网络参数，使得参数能够对输入做各种非线性变换拟合输出，本质上就是一个函数去寻找最优解，只不过这个最优解是一个矩阵，而如何快速求得这个最优解是深度学习研究的一个重点，以经典的resnet-50为例，它大约有2000万个系数需要进行计算，那么我们如何计算出这么多系数，有以下两…
- Pytorch
- 2022-08-03
Transformer – 理解Transformer必看系列之，2 Positional Encoding位置编码与Transformer编码解码过程
转载自： 链接：https://www.ylkz.life/deeplearning/p10770524/ 作者：空字符 少量行文修改 1 引言 经过此系列上一篇文章Transformer - 理解Transformer必看系列之，1 Self-Attention自注意力机制与多头注意力原理的介绍，…
- Transformer
- 2022-08-02
深度学习 – NLP自然语言处理与语音识别中常用的标识符等的含义
1 NlP自然语言处理与语音识别中常用的标识符的含义 在NLP进行文本处理以及语音识别处理语音对应标签时我们经常会看到一些特殊的标识符，一些常见的标识符及其含义如下 <blank>/<BLANK>：表示空白符号； <unk>/<UNK>：低频词或未在词…
- 深度学习
- 2022-08-01
Transformer – 理解Transformer必看系列之，1 Self-Attention自注意力机制与多头注意力原理
转载自： 链接：https://www.ylkz.life/deeplearning/p10553832/ 作者：空字符 修改文章少量行文 1 引言 今天要和大家介绍的一篇论文是谷歌2017年所发表的一篇论文，名字叫做Attention is all you need，当然，网上已经有了大量的关于这…
- Transformer
- 2022-08-01
深度学习 – 以一个极简单的中英文翻译Demo彻底理解Transformer
转载自： 原文链接：https://zhuanlan.zhihu.com/p/360343417 作者：Algernon 少量行文修改。 Transformer并没有特别复杂，但是理解Transformer对于初学者不是件容易的事，原因因在于Transformer的解读往往没有配套的简单的demo，…
- Transformer
- 2022-07-29
Pytorch – torch.stack参数详解与使用
1 torch.stack参数详解与使用 1.1 torch.stack 1.函数形式 torch.stack(tensors, dim=0, *, out=None) → Tensor 2.函数功能 沿指定维度连接Tensor序列，所有的Tensor必须是同样大小 3.函数参数 tensors：T…
- Pytorch
- 2022-07-27
Pytorch – torch.cat参数详解与使用
1 torch.cat参数详解与使用 1.1 torch.cat 1.函数形式 torch.cat(tensors, dim=0, *, out=None) → Tensor 2.函数功能 在指定的维度串联指定Tensor序列，所有Tensor都必须具有相同的形状（连接维度除外），或者Tensor为…
- Pytorch
- 2022-07-25
Pytorch – torch.chunk参数详解与使用
1 torch.chunk参数详解与使用 1.1 torch.chunk 1.函数形式 torch.chunk(input, chunks, dim=0) → List of Tensors 2.函数功能 将输入Tensor拆分为特定数量的块。 如果给定维度dim上的Tensor大小不能够被整除，则…
- Pytorch
- 2022-07-22
Pytorch – pad_sequence、pack_padded_sequence、pack_sequence、pad_packed_sequence参数详解与使用
当采用 RNN 训练序列样本数据时，会面临序列样本数据长短不一的情况。比如做 NLP 任务、语音处理任务时，每个句子或语音序列的长度经常是不相同。难道要一个序列一个序列的喂给网络进行训练吗？这显然是行不通的。 为了更高效的进行 batch 处理，就需要对样本序列进行填充，保证各个样本长度相同，在 P…
- Pytorch
- 2022-07-21
深度学习 – 从矩阵运算的角度理解Transformer中的self-attention自注意力机制
转载自https://zhuanlan.zhihu.com/p/410776234 之前我对Transformer中的Self-Attention的机制也是看了很多遍论文，看了很多博文的解读，直到看到了这篇博文，让我醍醐灌顶，打通了任督二脉，果然将复杂问题讲复杂每个人都会，但是从基础的角度将复杂问题…
- Transformer
- 2022-07-20
深度学习 – Python实现CTC Decode解码算法Greedy Search Decode，Beam Search Decode，Prefix Beam Search Decode
在语音识别、OCR文字识别领域，我们在推理的最后一步就是从预测的概率矩阵中使用CTC解码算法找到可能性最大的序列。而常用的CTC解码算法一般有Greedy Search Decode（贪心搜索）、Beam Search Decode（束搜索）、Prefix Beam Search Decode（前缀…
- 深度学习
- 2022-07-19
深度学习 – 基础的Greedy Search和Beam Search算法的Python实现
假设当前词汇表中总共有5个词汇，现在有一个概率矩阵需要解码为词序列，词序列中包含10个词，以下通过Greedy Search Decoder和Beam Search Decoder对该词序列分别进行解码。 1 Greedy Search import numpy as np # greedy dec…
- 深度学习
- 2022-07-18