搜尋結果
2021年11月19日 · Transformer. 如何评价微软亚洲研究院的Swin Transformer V2：在4个数据集上达到SOTA？ Swin Transformer V2: Scaling Up Capacity and Resolution We present techniqu… 显示全部 . 关注者. 569. 被浏览. 569,130. 37 个回答. 默认排序. 匿名用户. 598 人赞同了该回答. 看到某匿名回答说我煽动科研新人，首先我必须说无论大家观点如何， 起码那位匿名回答是有货的，大家不妨一看， 如果其他评价的回答是这种水平，我就不跳出来了。 然后，我必须澄清一下我回答这个问题的原因以及我的观点究竟是什么，以正视听：
2021年10月12日 · 761,908. 62 个回答. 按时间排序. 古古今今. 知乎好文章. Swin Transformer是一种新型的图像识别模型，它基于Transformer架构，采用分层的方式对输入图像进行处理。 Swin Transformer的主要创新点在于它采用了一种分层式的处理方式。 具体而言，Swin Transformer首先将输入图像划分成多个子区域，然后在每个子区域上进行独立的 特征提取 。 接着，它通过多个层次的Transformer模块，对提取出的特征进行逐层融合和处理，最终得到全局的特征表示。 这种分层式的处理方式既能够兼顾全局和局部特征，又能够有效减少计算量，提高模型的性能。
结论，swin是有效果的，但开源社区目前没看到，估计训练比较耗时间不值当 CLIP的效果其实和模型结构关系不大，关键在数据质量，至于大家所说的局部特征，全局特征之分，在数据驱动的情况下，细粒度的特征来自细粒度的文本监督
Attention-based Model. 注意力机制. Transformer. Swin-Transformer中为什么要用mask-attention维持空间连续性？ 关注者. 20. 被浏览. 8,932. 3 个回答. 默认排序. 大叔爱学习. 繁星纵变，智慧永恒. 5 人赞同了该回答. 接下来主要讲讲Swin Transformer中最重要的模块：SW-MAA (Shifted Window Multi-head Attention)。 Patch是图像的小块，比如4 x 4的像素。 每个Patch最后会变成1，或者Visual Token。 它的维度是embed_dim。 Visual Tokens（编码后的特征）会进入Tansformer中。
2022年10月14日 · Swin Transformer v2解决了大型视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距以及对标记数据的渴望。 提出了三种主要技术： 1）残差后范数方法结合余弦注意提高训练稳定性； 2）一种对数空间连续位置偏差方法，可有效地将使用低分辨率图像预训练的模型转移到具有高分辨率输入的下游任务； 3）一种自我监督的预训练方法 SimMIM，以减少对大量标记图像的需求。 我这篇文章主要讲解如何使用Swin Transformer V2完成图像分类任务，接下来我们一起完成项目的实战。 本例选用的模型是swinv2_tiny_windows8_256,在植物幼苗数据集上实现了96.9%的准确率。
知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、影视 ...
Swin-transformer---取代卷积神经网络 在很多视觉领域都取得了很好的成绩。 提出了一种shifted window移动窗口的方法，其解决了1.若以像素点为单位的VIT，其序列过长问题，2.并且可以通过窗口交互的方法来变相实现全局的transformer，3.减小了计算复杂度，其复杂度随图片大小而线性增长，而不是像传统的 ...
