本文是论文<CBAM: Convolutional Block Attention Module>的阅读笔记,该论文提出了实现视觉注意力机制的模块CBAM(或称SAM)。CBAM可解耦为通道注意力和空间注意力,可与现存的网络结合,在图像分类和目标检测上达到SOTA效果。
本文介绍了self-attention和multi head attention的原理,定义一个keras实现层。并在其基础上搭建一个中文新闻分类模型,同时给出结果对比。
本文粗略总结了Attention机制,并使用keras实现了attention生成新闻标题。