【Transformer模型,transformer模型】你如何理解transformer模型？
Transformer是Google在2017年发表的论文《Attention is all you need》中提出的模型 。其中使用了self-attention来替代此前的RNN和CNN对序列的编码方式，从而实现更快的并行训练以及更优的序列表示 。模型中有以下几个特点：1）为了能够捕获序列中的绝对位置和相对位置关系，在对序列的表示中加入了位置编码，其编码公示如下：其中pos表示序列的位置，dmodel为表示维度 。
这里使用了三角函数来表示是因为pos k的位置编码可以由pos的线形变换表示出来，从而蕴涵了相对位置信息，计算公式如下 。2）Multi-head的Self-Attention 。Self-Attention能够对句子进行编码，其中的self指的就是Q=K=V，即序列自己对自己进行Attention的编码，从而能捕获到序列中的语义信息，计算的公式如下 。
这里加入了multi-head的做法是基于一个词语会存在诸多语义，而在不同的语义空间中，对句子的编码结果也会显著不同 。因此在进行self-attention之前先对输入做线形变换，然后按照编码维度切分成h份，分别进行序列编码，再将结果拼接在一起 。3）为加速网络的训练，还在模型中加入了Layer Normalization以及残差连接 。
此外为了防止模型出现过拟合，还引入了dropout以及label smoothing，从而让模型更具鲁棒性 。4）Transformer相比于RNN和CNN的计算复杂度更低，而且利用self-attention使得在对序列进行编码时，最大的长度仅为1，避免了长程依赖的问题 。而RNN则序列的长度n，CNN也得受限于卷积的感受野 。
推荐阅读
- 如何培养模型思想,谈谈您是如何培养学生的模型思想的
- 3D建筑模型软件,4377
- 汽车模型论坛，抢车位游戏可以赠送车吗
- 机器学习为什么需要训练,模型训练
- 采购批发网站风向标,微缩模型
- 奥比岛的魔术箱怎么过,7k7k奥比岛
- 以下做法可以提高问卷回复率的有，4根据哈罗德多马模型当有保证的增长率大于实际增长率时经济
- spice仿真,SPICE仿真模型
- 武汉车模，武汉市哪里有坦克模型专卖店
- 模型车论坛，油动车模懂得来