搜尋結果
CSRA Inc. provided information technology services to U.S. government clients in national security, civil government, and health care and public health. Its largest market, national security, included the Department of Defense , Homeland Security , U.S. Army , U.S. Air Force , and intelligence agencies.
查看最新的 CSRA Inc. (CSRA) 股票報價、記錄、新聞及其他重要資訊，助你賣買股票及投資。
- 【写在前面】
- 1. 论文和代码地址
- 2. Motivation
- 3.1. 为什么max pooling会有用？
- 3.2. Residual attention
- 3.3. CSRA 的解释
- 3.4. Multi-head attention
- 4.1. Comparison with state-of-the-arts
- 4.2. Effects of various components in CSRA
- 5. 总结
多标签图像识别是一项具有挑战性的计算机视觉任务。然而，目前解决这一任务的方法复杂、计算量大、缺乏直观解释 。为了能够有效地感知不同类别物体所占据的空间区域，作者提出了一个非常简单的模块，Class-Specific Residual Attention(CSRA)。首先计算一个根据特征的空间Attention Score，然后将其与类别无关的平均池化特征相结合，CSRA能够为每个类别生成 class-specific的特征。CSRA在多标签识别任务中取得了SOTA的性能，同时也比其他方法简单得多。最重要的是CSRA实现起来非常简单，只有4行代码，就可以在没有任何额外数据训练的情况下，在许多不同的预训练模型和数据集上实现比较大的性能提升。因此，相比于以前的方法，SCRA具有易于实现、计算量小、解释直观、良好的可视化 等优点。
什么是多标签图像分类？
（From：https://blog.csdn.net/xiaosongshine/article/details/98172805）
（1）传统单标签分类 ：
city（person）
（2）多标签分类 ：
Residual Attention: A Simple but Effective Method for Multi-Label Recognition
论文地址：https://arxiv.org/abs/2108.02456
代码地址：未开源
核心代码：https://github.com/xmu-xiaoma666/External-Attention-pytorch#23-Residual-Attention-Usage
卷积神经网络(CNN)在许多计算机视觉任务中成为了主流结构，特别是在图像分类中。然而，尽管已经有许多用于单标签分类的网络结构被提出，如VGG、ResNet、EfficientNet和VIT，但多标签识别的进展仍然有限。在多标签任务中，对象的位置和大小变化很大，很难学习一个适合所有对象的单一特征表示。
近年来对多标签识别的研究主要集中在标签间的语义关系 、对象proposal 和注意力机制 三个方面。基于标签间的语义关系方法，计算成本较高而且存在手工定义邻接矩阵的问题；基于对象 proposal的方法，在处理对象proposal上花费太多时间；尽管注意力模型是一种端到端的，相对比较简单的方法，但对于多标签分类，这些模型往往过于复杂，导致难以优化、实现或解释。
基于以上的问题，作者出了一个简单而容易的类特定残差注意力(class-specific residual attention，CSRA)模块，通过充分利用每个对象类别单独的空间Attention，取得了较高的准确性。
上图为CSRA的Pytorch代码，在没有任何额外的训练的情况下，只用4行代码，CSRA在许多不同的预训练模型和数据集上，可以改进多标签识别的performance（结果如下表所示）。
上表展示了对于不同的模型和数据集，CSRA都能提升性能（其中\lambda是一个超参数）。对于多标签任务，作者使用mAP作为评价指标，而ImageNet(单标签任务)使用Accuracy。
这些结果表明，简单地增加一个max-pooling可以提高多标签识别的精度，特别是当baseline模型的mAP不高时。从上面的代码中可以看出，CSRA就是多了一行max-pooling，那么，为什么这个max-pooling是有用的呢？
1）首先，y_max获取了每个类别的所有空间位置中的最大值。因此，它可以被看作是一种class-specific的注意力机制。
2）另外，作者推测CSRA能够让模型关注不同物体类别在不同位置的分类得分，因此相比于传统的分类网络，CSRA更加适用于多标签分类的任务。
对于一张图片I，首先通过一个CNN网络\phi来提取特征x，其中x是一个d \times h \times w的特征矩阵：
在实验中，特征的维度通常是2048 \times 7 \times 7，因此在空间维度打平之后就可以表示成x_1,x_2, . . . ,x_{49}。然后通过一个FC分类器得到分类的结果，其中m_i \in \mathbb{R}^{2048}为第i类分类器的参数。
然后就可以定义第i个类第j个位置上的class-specific attention scores（在空间维度进行softmax，使得每个类所有空间上概率之和为1，以此来得到每个类别的空间attention map）：
其中T > 0是用来控制score的 temperature，是一个超参数。s_j^i代表了第i类在第j个位置上出现的概率。
得到第i类在第j个位置上出现的概率之后，我们就可以把这个概率和特征进行相乘求和，得到class-specific的特征向量了：
全局的class-agnostic特征可以通过将所有位置的特征进行求平均得到：
在本节中，作者将会证明代码中的max pooling的实现方式就是CSRA的一种特殊情况。首先将分类的结果重新展开可以得到：
公式第一行的第一项的是第i个类的base logit，也可以用下面的公式表示：
第二项的x_k m_i^T是第k个位置的分类分数，然后再用s_k^i来进行加权。
当T趋向于正无穷时，softmax的输出结果就变成了一个Dirac delta函数：
因此就可以用最大项来代替，这也就得到代码中max pooling的由来：
另外，f可以被表示成：
在上面的代码和式子中，我们可以看到有一个 temperature超参数T需要去调，不同的类可能需要不同的超参数。为了避免这个调参的过程，作者引入了一个mul-head attention的方式来避免这个调参的过程。
如上图所示，作者将CSRA改成了一个多分支的结构（每一个分支就代表是一个head），每个分支使用相同的\lambda，但是使用不同的T。当只有一个head时，T固定为1；随着head的增加，不同head的T也不断增大，如下所示：
4.1.1. VOC2007
可以看出在ResNet上加入CSRA，就能够超过以前的SOTA模型。
4.1.2. VOC2012
如上表所示，当仅使用ResNet-101的ImageNet预训练模型时，CSRA已经超越了以往的方法。通过用额外数据(MS-COCO)进行预训练，可以进一步提高CSRA的性能，达到新的SOTA性能。
4.1.3. MS-COCO
MS-COCO上的实验结果表明，CSRA模块不仅适用于ResNet结构，而且也适合Vision Transformer结构。
4.2.1. Class-agnostic vs. class-specific
class-specific的特征比 class-agnostic的特征更有效。通过合并两者，CSRA的performance明显优于前两者。
4.2.2. Visualizing the attention
可以看出，CSRA的attention map能够精确定位来自不同类别的对象。
4.2.3. Effect of λ
如上图所示，VIL-L16的性能在λ < 1.0时稳定上升；在λ = 1.0达到峰值，而ResNet-cut在λ = 0.1处得分最高。
在本文中，作者提出了一个新的多标签分类框架CSRA，仅通过四行代码，就能够提高多标签分类任务的准确率。该算法不仅提高了识别精度，而且消除了对超参数的依赖。CSRA在4个基准数据集上的表现优于现有的SOTA方法，不仅简单，而且可解释性更强。
▊ 作者简介
厦门大学人工智能系20级硕士
研究领域：FightingCV公众号运营者，研究方向为多模态内容理解，专注于解决视觉模态和语言模态相结合的任务，促进Vision-Language模型的实地应用。
查看 CSRA Inc. (CSRA) 的公司概況，包括業務摘要、行業/板塊資訊、員工人數、企業管治、高級行政人員及其薪酬。
2024年7月15日 · CSRA Inc | 24,618 followers on LinkedIn. General Dynamics Information Technology and CSRA have united to create the premier provider of high-tech IT solutions to the government IT market.
在 Yahoo 財經查看 CSRA 的過往股價。查看自發行 CSRA Inc. 起的每天、每週或每月資訊。
2017年1月5日 · We reviewed 53 empirical CSRA studies on the impact of firm, corporate governance and country-specific characteristics on CSRA context variables (e.g. decision to conduct CSRA, level of CSRA, CSRA provider and CSRA reporting) and on stakeholders
