搜尋結果
2024年4月1日 · UIUC 联合 LMFlow 团队成员对 LoRA 的实验性质进行了分析，意外发现 LoRA 非常侧重 LLM 的底层和顶层的权重。 利用这一特性，LMFlow 团队提出一个极其简洁的算法：Layerwise Importance Sampled AdamW（LISA）。 论文链接：https://arxiv.org/abs/2403.17919. 开源地址：https://github.com/OptimalScale/LMFlow. LISA 介绍. LISA 算法的核心在于： - 始终更新底层 embedding 和顶层 linear head； - 随机更新少数中间的 self-attention 层，比如 2-4 层。
2024年4月12日 · 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。 论文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models. 论文链接: https://arxiv.org/pdf/2404.02948.pdf. 代码链接: https://github.com/GraphPKU/PiSSA. 如图 1 所示，PiSSA (图 1c) 在模型架构上和 LoRA [1] 完全一致 (图 1b)，只是初始化 Adapter 的方式不同。 LoRA 使用高斯噪声初始化 A，使用 0 初始化 B。
2024年4月3日 · 用不少人的话说，路过Olive Young，无论有没有买东西的需求都会进去逛一圈。. 它的定位与设计就像一个淘宝铺，除常规美妆护肤产品，还有保健品 ...
2024年4月9日 · 但诺米的特别之处在于其抽象的行为，引发了大范围的模仿。. 就如同“郭言郭语”中的“耶斯莫拉”，以及《封神第一部：朝歌风云》里费翔饰演 ...
2024年3月30日 · 有人说，双相情感障碍患者的世界，一念天堂，一念地狱，可能上一秒还情绪高涨，下一秒就陷入抑郁情绪。. 3月30日是世界双相情感障碍日。. “双 ...
2024年4月10日 · 今日，网易与暴雪中国正式发布公告，确认双方再次达成合作，将会把《魔兽世界》等暴雪旗下游戏重新带回中国大陆，目前国服开服时间尚未公布 ...
5 天前 · Science, 19 APR 2024, VOL 384, ISSUE 6693. 《科学》2024年4月19日，第384卷，6693期. 天文学Astronomy. Dating the Solar System’s giant planet orbital instability using enstatite ...
