深度学习 – Python实现CTC Decode解码算法Greedy Search Decode，Beam Search Decode，Prefix Beam Search Decode
在语音识别、OCR文字识别领域，我们在推理的最后一步就是从预测的概率矩阵中使用CTC解码算法找到可能性最大的序列。而常用的CTC解码算法一般有Greedy Search Decode（贪心搜索）、Beam Search Decode（束搜索）、Prefix Beam Search Decode（前缀…
- 深度学习
- 2022-07-19
深度学习 – Transformer详解
转载自： 链接：https://wmathor.com/index.php/archives/1438/ 作者：wmathor Transformer 是谷歌大脑在2017年底发表的论文Attention Is All You Need中所提出的 seq2seq 模型。现在已经取得了大范围的应用和扩…
- Transformer
- 2022-07-16
深度学习 – Transformer详细注释
译自： https://nlp.seas.harvard.edu/2018/04/03/attention.html http://nlp.seas.harvard.edu/annotated-transformer/ 在过去的五年里，Transformer一直被很多多关注。本篇文章以逐行实现并详细…
- Transformer
- 2022-07-15
深度学习 – 通俗理解Beam Search Algorithm算法
1 Beam Search Algorithm 在本文中会尽量以通俗易懂的方式介绍Beam Search Algorithm的原理。 在机器翻译领域（Encoder-Decoder模型），将一种语言翻译成另外一种语言时，我们首先需要对源语言的单词序列进行编码，然后通过深度学习模型训练和推理得到中间输…
- 深度学习
- 2022-07-14
深度学习 – 经典的卷积神经网络（CNN）模型结构
转载自：http://shiyanjun.cn/archives/1974.html 本文主要简单介绍在卷积神经网络发展过程中，一些经常用的改进模型，主要包括LeNet-5、AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet、ZFNet这7个模型。本文不会非常深入讲解各…
- 深度学习
- 2022-07-08
深度学习 – 卷积神经网络CNN简介
转载自：http://shiyanjun.cn/archives/1963.html 1 卷积神经网络CNN 卷积神经网络（Convolutional Neural Networks，CNN）是由纽约大学的Yann Lecun于1998年提出的，其本质是一个多层感知机，它是一类包含卷积计算且具有深度…
- 深度学习
- 2022-07-07
深度学习 – 我的深度学习项目代码文件组织结构
1 我的深度学习项目代码文件组织结构 一般来说，深度学习项目需要包含以下内容： 数据集预处理与加载 深度学习模型定义 模型训练 模型推理 根据以上的功能描述，我的深度学习项目代码文件组织结构如下： ├─bin ├─configs ├─data_loader ├─data_preprocess ├─m…
- Pytorch
- 2022-07-02
深度学习 – 图解Transformer，小白也能看懂的Transformer处理过程
译自：https://jinglescode.github.io/2020/05/27/illustrated-guide-transformer/ 1 前言 Transformer是encoder-decoder架构的进一步演变，其在论文Attention is All You Need中提出。虽…
- Transformer
- 2022-06-29
![深度学习 – 理解LSTM网络[翻译]](https://www.stubbornhuang.com/wp-content/uploads/2022/06/wp_editor_md_3961d9bc8a51ef19fcd36a95ba62d396.jpg)
深度学习 – 理解LSTM网络[翻译]
翻译自：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 1 Recurrent Neural Networks 循环神经网络 人类并不是每秒钟都从零开始思考。当你读这篇文章时，你根据对前面单词的理解来理解每个单词。你不会把一切都扔掉…
- 深度学习
- 2022-06-25
深度学习 – 深度学习中的多维数据存储方式NCHW和NHWC
1 深度学习中的多维数据存储方式NCHW和NHWC区别和简单介绍 在深度学习框架中，多维数据通过多维数组存储，比如卷积神经网络的特征图(Feature Map)通常使用四维数组保存，其数据维度为4D。其中4D中的N、H、W、C的各自意义如下： N：Batch数量，例如图像的数量； H：Height，…
- 深度学习
- 2022-03-07
深度学习 – 数据集中训练集、验证集、测试集的划分以及各自作用
1 数据集的划分比例 一般情况而言，当数据集数据量较少时，如数据集中只有10000条数据，且不划分验证集时，训练集与测试集的比例一般为7:3；当数据集数据量较少时，如数据集中只有10000条数据，且划分验证集时，训练集与验证集、测试集的比例一般为6:2:2。 当数据集中数据量较大时，比如数据集中有1…
- 深度学习
- 2022-02-24
Python – 深度学习训练过程使用matplotlib.pyplot实时动态显示loss和acc曲线
1 深度学习训练过程中实时动态显示loss和acc曲线 可参考代码如下： # -*- coding: utf-8 -*- import matplotlib.pyplot as plt if __name__ == '__main__': train_loss = 5 val_loss = 5 tr…
- Python
- 2021-07-19