arXiv 最火论文：研究“注意力机制”，来自清华大学计算机系胡事民团队

图片地址：https://img.ithome.com/newsuploadfiles/2021/11/ee4c63c7-b4f6-4e99-a60d-0642ca41bf99.png

清华计图胡事民团队的这篇注意力机制的综述火了！在上周的 arXiv 上，这是最热的一篇论文。推特以及 GitHub 上也有不低的热度。而这篇论文引用近 200 篇内容，对计算机视觉领域中的各种注意力机制进行了全面回顾。在大量调查之后，论文将注意力机制分为多个类别，GitHub 还给出了各类别下提到内容的 PDF 下载文件：现在，就来一起看看这篇论文。文章主要内容论文首先将基于注意力的模型在计算机视觉领域中的发展历程大致归为了四个阶段：1.将深度神经网络与注意力机制相结合，代表性方法为 RAM2.明确预测判别性输入特征，代表性方法为 STN3.隐性且自适应地预测潜在的关键特征，代表方法为 SENet4.自注意力机制同时，注意力机制也被分为了通道注意、空间注意、时间注意、分支注意，以及两个混合类别：针对不同类别，研究团队给出了其代表性方法和发展背景：通道注意力（Channel Attention）在深度神经网络中，不同特征图的不同通