【NLP】注意力机制在神经网络中的应用( 三 ) _机制

机制引入NLP领域实际上是起到了短句对齐的一个功能，传统的短句对齐准确度不高，翻译效果不好。2016年，部署了他们基于神经网络的机器翻译系统，在这个系统，引入了机制，相比传统模型翻译效果有大幅提升，翻译错误率下降了60%，效果十分可观。
目前在NLP中已经有广泛的应用。它有一个很大的优点就是可以可视化矩阵来告诉大家神经网络在进行任务时关注了哪些部分。不过在NLP中的机制和人类的机制还是有所区别，它基本还是需要计算所有要处理的对象，并额外用一个矩阵去存储其权重，其实增加了开销。而不是像人类一样可以忽略不想关注的部分，只去处理关注的部分。
3.2 注意力机制在CV领域的应用
计算机视觉中一种经典的应用就是图片描述，即我们输入一幅图画，模型通过不同的注意力集中机制，根据图片中的不同元素，输出一句描述当前图片的语句，是实现图文结合的经典实例，类似于我们在英语或语文学习中做过的看图说话。
图片描述任务依然需要用到-框架，此时编码器需要输入一张图片，而解码器需要输出一句描述语句。在处选用CNN神经网络对图片进行特征提取，在解码器部分需要使用RNN或者LSTM等NLP任务经典的模型输出描述语句。
在注意力机制加入后的翻译过程可以用带有MASK的模糊图来展示这一过程。
最终我们根据图片得到的描述语句为“Aison a beach with a
” 。
注意力机制的短句对齐优势体现在，如果我们选择语句中的一个单词，它可以确定该单词表述的大致图片范围是哪里，这也为我们做该问题的逆问题——语句与图片的匹配提供的思路，具体表现在下面的四个例子中体现出来。
4. 算法的优点和缺点讨论
机制的引入，主要是处于机制的三个优点
4.1 算法优点分析4.2 算法缺点分析
算法应用至今，对其缺点的描述不是很多。如果分析注意力机制的缺点，那可能是由于发展不充分导致的。
注意力机制选择区域并不能完全模仿人的视觉机制进行，模仿人的视觉原理可能是算法的最终目标。但就目前来看，尽管提出了Soft 和Self 去拟人化，但是本质上还是给图画分配权重。这方面可能还需要认识神经科学领域的研究进一步加深。
5. 参考文献,Cho, and. ICLR, 2015.byto Align and .Minh-Thang Luong, Hieu Pham, andD . EMNLP, 2015.to -based. , et al. NIPS, 2017.Is All You Need. J , Chang M W , Lee K , et al. BERT: Pre- of Deep
for[J]. 2018..注意力机制( )在自然语言处理中的应用.super灬睿.注意力机制( )浅谈.张俊林.深度学习中的注意力机制(2017版).