搜尋結果
先说结论。. 个人认为NAdam和Nesterov+Adam没有本质上的区别。. 结论的得出主要参考自一下两篇文章：. Ruder, S. (2016). An overview of gradient descent optimization algorithms. arXiv preprint arXiv:1609.04747. Dozat, T. (2016). Incorporating nesterov momentum into adam. 在介绍NAdam之前，我们梳理一下Adam ...
93,582. 11 个回答. 潇夜. All the flowers turn to face the sun. 这篇文章针对warmup前期数据样本不足导致的biased variance的问题提出了解决方案，可以看到还是有一定效果的，不过还没有medium说的在optimizer中达到了SOTA的结果，更别说量子位提的什么最先进的AI训练优化器（我刚开始看到还以为是meta-learning）。 光看实验结果在收敛方面相对比Adam的优势不是特别明显，在generalization上也就高了一点点，比SGDM还是差了很多。
873 人赞同了该回答. 谢邀，在这里除了讲Adam，还想帮你解决一下文章看不懂的问题。 文章和论文看不懂，通常有三个原因： 对前置知识掌握不佳. 没有结合理论与实践. 没有对知识形象理解. Adam本质上实际是RMSProp+动量 。 但如果你对随机梯度下降SGD的知识，以及Adam之前的几个更新方法一无所知。 那么当你看到一个“复杂的”Adam看了就头大（请不要嘲笑初学者，当年我也觉得深度学习各个地方都超复杂）。 即使你看了论文和文章，如果不结合代码与实现，知道的也只是别人口中的“xxx的本质其实是xxx”，但这种别人的本质对你自己了解帮助不大。 最后，如果有个动图，Demo，实例，那么对你的帮助当然就更大啦。 这里我就结合这三点，好好讲一讲什么是Adam.
2023年8月12日 · 45. 被浏览. 28,590. 7 个回答. 默认排序. 兽族机枪兵. 复旦数据科学博士 | 正在做LLM | 此处会放一个代表作！ 谢邀 @Dreamcatcher风. 42 人赞同了该回答. 题主提到的两点原因都是正确的： Adam 系列较 SGD 更快，主要来源于它的自适应学习率的计算： 自适应学习率 ： Adam 优化器利用梯度的 第一矩 和第二矩估计值，单独调整每个权重的学习率。 这种自适应学习率方法能带来更高效的更新和更快的收敛。 高效梯度下降 ： 与需要对所有参数进行相同大小更新的 SGD 不同，Adam 通过对频繁更新的参数进行较小的更新和对不频繁更新的参数进行较大的更新来实现高效梯度下降。
37. 被浏览. 183,552. 12 个回答. 默认排序. 致Great. 中国人民大学 软件工程硕士. Google Brain新提出的优化器“Lion”，效果要比Adam (W)更好. 论文地址： arxiv.org/abs/2302.0667. 代码地址： github.com/google/autom. 1 简单、内存高效、运行速度更快. 与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半。 这在训练大型模型和大Batch size时很有用。 例如，AdamW 需要至少 16 个 TPU V4 芯片来训练图像大小为 224、批量大小为 4,096 的 ViT-B/16，而 Lion 只需要8个。
大白杨. 半退，乳腻了. 26 人赞同了该回答. 我最近在做一些adamw（adam在weight decay上的改进版）在vit上的 downstream 实验，发现几个问题： 1、相对于 sgd 来说，adam的lr似乎更加统一一些，也就是说，不同的task可以用一个相同的lr去调节，通用性更强； 2、 learning rate decay 很重要，即使按照paper里面的原理来说，lr可自动学习已无需调整，但是下降一次之后效能依然有大幅提升； 3、重要的一点，lr的decay影响远远不如sgd，一般来说sgd在cv问题有两次lr下降，每一次的提升都较为可观，但是adam在第一次的之后后续的影响微乎其微。 这一点甚至在multi-scale的长周期训练中，adam还不如sgd；
1 个回答. 蓝海大脑高性能计算服务器 研究人员表示：. 常见的优化器：SGD、BGD、MBGD、Momentum、NAG、Adagrad、Adadelta，RMSprop、Adam、AdamW优化器等。. SGD是 随机梯度下降法 ，是最基本的优化器。. Adam是一种自适应学习率的方法。. 以SGD作为最初的算法，Momentum在其基础 ...
