搜尋結果
2024年5月31日 · 方法介绍. CoPE 首先使用上下文向量确定要计数的 token。 具体来说，给定当前 token 作为查询向量，接着使用先前 token 的键向量计算一个门值（gate value）。 然后汇总这些门值，以确定每个 token 相对于当前 token 的相对位置，如图 1 所示。 与 token 位置不同，上下文位置可以取分数值，因而不能具有指定的嵌入。 相反，该研究插入赋值为整数值的嵌入来计算位置嵌入。 与其他 PE 方法一样，这些位置嵌入随后被添加到键向量中，因此查询向量可以在注意力操作中使用它们。 由于上下文位置可能因查询和层而异，因此该模型可以同时测量多个单元的距离。 在 CoPE 中，位置是通过上下文相关的方式来测量的，而不是简单的 token 计数。
6 天前 · 高效、可泛化的高斯重建框架，只需3张视图即可快速推理，45秒便可完成优化. AIxiv专栏是机器之心发布学术、技术内容的栏目。. 过去数年，机器之 ...
3 天前 · 我们看看全新的Lunar Lake是如何做到的？ ·高达120TOPS的全核心AI算力暴增. 首先需要明确的一点是，Lunar Lake全新的CPU、GPU以及NPU，使得整个平台的AI计算能力达到120TOPS，相较Meteor Lake实现翻倍式提升。 那么这120TOPS算力是如何分配的呢？ 首先，Lunar Lake采用的全新的Lion Cove性能核（P-Core）与Skymont能效核（E-Core）设计，支持VNNI以及AVX AI指令集，峰值AI算力为5TOPS。 别看数字比较低，但是CPU在AI应用中往往只负责一些轻度的嵌入式AI计算任务，因此5TOPS算力足以应对这些类型AI的计算需求。
2024年6月1日 · 有网友评价为，大模型领域少有的 “有操作性” 的实用见解，非常值得一读。. 这 6 位作者来自不同背景，比如有大厂工程师，也有独立开发者 ...
2024年2月5日 · 从最新财报看当下教育：需求韧性和格局改善的继续演绎. 类别：行业 机构： 浙商证券股份有限公司 研究员： 马莉/陈钊/刘梓晔 日期：2024-02-05. 投资要点. 近期新东方/好未来/学大教育/科德教育/行动教育发布最新财报，教育龙头企业普遍呈现高增长 ...
4 天前 · 本文提出了一种基于半可分离矩阵块分解的 SSD 算法，该算法利用了 SSM 线性递推和二次对偶形式，在所有主要效率轴上获得了最优的权衡。 基于 SSD 的实现比 Mamba 的优化选择性扫描实现快 2 到 8 倍，同时允许使用更大的循环状态大小（是 Mamba 的 8 倍甚至更高，且几乎不影响速度）。 SSD 与优化过的 softmax 注意力实现（FlashAttention-2）具有高度竞争力，在序列长度 2k 时性能相当，在序列长度 16K 时速度快 6 倍。 架构设计。 采用 SSM 等新架构的一个主要障碍是针对 Transformers 量身定制的生态系统，例如用于大规模训练的硬件高效优化和并行技术。
2024年5月27日 · 成年人平均每天要做35,000个决策，大到买房买车，小到衣食住行阅读等，毋庸讳言，其中有一部分决策是错误的。. 如何改善我们决策的质量 ...
