[人工智能]Attention Is All You Need

Abstract

在Transformer提出之前，主流的神经机器翻译模型都是基于RNN/CNN的encoder-decoder结构。接着是对encoder-decoder机制的改进，在decoder和encoder之间加入attention机制。Transformer干脆更进一步，只依赖attention机制，而彻底摆脱了对RNN/CNN的依赖。带来的好处是：任务质量提升、并行度提升，训练时间更短。

Introduction

RNN模型通常在输入/输入序列中按照位置累分解计算。每一个计算步对应一个位置，并且基于当前位置$t$的输入和之前的隐状态 h t

了解本专栏 订阅专栏 解锁全文