Seq2Seq模型和Attention机制
转载自:Seq2Seq模型和Attention机制,如侵联删 pdf: NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 1 RNN的多种结构 首先从RNN的结构说起,根据输出和输入序列不同数量RNN可以有多种…
- Transformer
- 2024-03-08
Attention和Self-Attention的区别
1 Attention和Self-Attention的区别 Attention:以Encoder-Decoder框架为例,输入Source和输出Target内容是不一样的,比如对于英-中机器翻译来说,Source是英文句子,Target是对应的翻译出的中文句子,Attention发生在Target的…
- Transformer
- 2024-03-08