NLP：Transformer的简介(优缺点)、架构详解之详细攻略

NLP：Transformer的简介(优缺点)、架构详解之详细攻略

目录

Transformer的简介(优缺点)、架构详解之详细攻略

1、Transformer的简介

(1)、Transforme的四4个优点和2个缺点

2、Transformer 结构—纯用attention搭建的模型→计算速度更快

Transformer的简介(优缺点)、架构详解之详细攻略

1、Transformer的简介

自 2017 年 Transformer 技术出现以来，便在 NLP、CV、语音、生物、化学等领域引起了诸多进展。

Transformer模型由Google在2017年在 Attention Is All You Need[1] 中提出。该文使用 Attention 替换了原先Seq2Seq模型中的循环结构，给自然语言处理(NLP)领域带来极大震动。随着研究的推进，Transformer 等相关技术也逐渐由 NLP 流向其他领域，例如计算机视觉(CV)、语音、生物、化学等。

因此，我们希望能通过此文盘点 Transformer 的基本架构，分析其优劣，并对近年来其在诸多领域的应用趋势进行梳理，希望这些工作能够给其他学科提供有益的借鉴。

本节介绍 Transformer 基本知识。限于篇幅，在这篇推文中，我们先介绍 Transformer 的基本知识，以及其在 NLP 领域的研究进展；后续我们将介绍 Transformer 在其他领域(CV、语音、生物、化学等)中的应用进展。

(1)、Transforme的四4个优点和2个缺点

(1) 每层计算复杂度更优：Total computational complexity per layer，时间复杂度优于R、C等。

(3) 一步计算解决长时依赖问题：这里Path length指的是要计算一个序列长度为n的信息要经过的路径长度。CNN需要增加卷积层数来扩大视野，RNN需要从1到n逐个进行计算，而self-attention只需要一步矩阵计算就可以。所以也可以看出，self-attention可以比rnn更好地解决长时依赖问题。当然如果计算量太大，比如序列长度n>序列维度d这种情况，也可以用窗口限制self-attention的计算数量。

(4) 模型更可解释：self-attention模型更可解释，attention结果的分布表明了该模型学习到了一些语法和语义信息。

实践上：有些RNN轻易可以解决的问题，transformer没做到，比如复制string，或者推理时碰到的sequence长度比训练时更长(因为碰到了没见过的position embedding)。

理论上：transformers非computationally universal(图灵完备)，(我认为)因为无法实现“while”循环。

2、Transformer 结构—纯用attention搭建的模型→计算速度更快

更新……

神经网络 自然语言处理基础

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。