搜尋結果
2021年7月15日 · 第1个地方就是在上一篇文章用介绍到的Attention Mask，用于在训练过程中解码的时候掩盖掉当前时刻之后的信息；第2个地方便是对一个batch中不同长度的序列在Padding到相同长度后，对Padding部分的信息进行掩盖。 下面分别就这两种情况进行介绍。 1.1 Attention Mask. 如图3所示，在训练过程中对于每一个样本来说都需要这样一个对称矩阵来掩盖掉当前时刻之后所有位置的信息。 图 3. 注意力掩码计算过程图. 从图3可以看出，这个注意力掩码矩阵的形状为 [tgt_len,tgt_len]。 在后续实现过程中，我们将通过 generate_square_subsequent_mask 方法来生成这样一个矩阵。
2020年2月16日 · 要做h次映射实际上就是h次 矩阵乘法，那么 Q\ast [W_ {1}, W_ {2}...W_ {h}]= [Q_ {1}, Q_ {2}...Q_ {h}] 等价于 Q\ast W=Q'. 其中 Q、Q’ \in R^ {s \times a} 、W \in R^ {a \times a} 所以先做一次映射之后再把 特征分段 成h个，跟做h次映射得到的特征是等价的. 对的我也发现了，在 ...
这里面最大的区别就是*mask和*_key_padding_mask,至于*是src还是tgt，memory，这不重要，模块出现在encoder，就是src，出现在decoder，就是tgt，decoder每个block的第二层和encoder做cross attention的时候，就是memory。*mask 对应的API是attn_mask
2023年2月2日 · 向量点乘的几何意义是：向量 在向量 方向上的投影再与向量 的乘积，能够反应两个向量的相似度。 向量点乘结果大，两个向量越相似。 一个矩阵 由 行向量组成。 比如，我们可以将某一行向量 理解成一个词的词向量，共有 个行向量组成 的方形矩阵： 矩阵 与矩阵的转置 相乘， 中的每一行与 的每一列相乘得到目标矩阵的一个元素， 可表示为： 以 中的第一行第一列元素为例，其实是向量 与 自身做点乘，其实就是 自身与自身的相似度，那第一行第二列元素就是 与 之间的相似度。 下面以词向量矩阵为例，这个矩阵中，每行为一个词的词向量。 矩阵与自身的转置相乘，生成了目标矩阵，目标矩阵其实就是一个词的词向量与各个词的词向量的相似度。 词向量矩阵相乘. 如果再加上Softmax呢？ 我们进行下面的计算：。
提议不使用 [MASK]token 进行 mask，因为在 token 微调阶段从未出现过[MASK]，我们提议使用类似的单词进行 mask。 通过使用基于word2vec(Mikolov et al。 ，2013) 相似度计算的同义词工具包 (Wang and Hu，2017) 获得相似的单词。
2021年7月30日 · NLP中的mask机制目的有哪些？. 看了很多博客，介绍了各种mask（这里所提到的mask特指sequence mask）机制，想请教大佬一些相关问题： 1、mask的目的很多时候说是遮…. 显示全部 .
2020年7月1日 · 我大概找到了三种答案： 1.防止信息泄露。 2.bert的mask的过程就相当于是DAE的过程，是为了降噪。 3.为了更好的考虑上下文，携带双向信息。 显示全部 . 关注者. 67. 被浏览. 108,849. 10 个回答. 默认排序. 月来客栈. BERT需要Mask完全是因为用了Transformer模块的原因，因此想要知道BERT为什么需要mask其实就是在问Transformer为什么需要mask。
