1.SELA介绍

SELA（Spatial Enhanced Local Attention）注意力机制结合了局部增强和全局注意力机制，具有以下优势：

(1). 局部特征增强：

SELA 机制通过自适应池化（Adaptive Pooling）分别在高度和宽度方向上对输入特征图进行降维，提取出行和列方向上的局部特征。然后，通过 1x1 卷积和分组归一化（Group Normalization）对这些局部特征进行进一步处理。通过这种方式，SELA 可以更好地捕捉到图像中细粒度的局部信息，增强了对局部特征的敏感度。

(2). 自适应特征融合：

通过在行和列方向上分别进行池化操作，并使用卷积和归一化后的特征图进行相乘，SELA 可以有效地融合不同方向上的局部特征。这种自适应融合方式使得模型能够更好地捕捉到图像中的空间结构信息，从而提升特征提取的效果。

(3). 全局上下文捕捉：

SELA 同时引入了Softmax Attention，通过对输入特征图进行 1x1 卷积，得到查询（Query）、键（Key）和值（Value）三个特征图，然后计算这些特征图之间的相关性矩阵