搜尋結果
5 天前 · LSTM（长短期记忆网络）是一种特殊的循环神经网络（RNN），广泛用于序列数据的处理，如自然语言处理、语音识别和时间序列预测。LSTM的设计旨在解决传统RNN面临的梯度消失和梯度爆炸问题。尽管如此，训练LSTM模型时，我们仍然可能遇到损失函数（loss）在一定时间后不再下降，甚至出现上升的情况。
2024年4月17日 · 解决方案: 适当提高学习率，加快模型训练速度。 增加训练时间，让模型有足够的时间学习。 尝试使用更有效的优化算法，例如 Adam、RMSprop 等。 以下是一些具体的调整建议: 尝试将 学习率衰减策略 从 二阶段 改为 余弦退火 或 指数衰减 等策略，使学习率在训练后期更加平缓地降低。 尝试使用 权重衰减 或 Dropout 等正则化方法来抑制模型过拟合。 尝试 增加训练集数据量 或使用 数据增强 方法来提高模型的泛化能力。
2024年5月2日 · 再度更新，截止5月3号晚上11点。由于原生kan写的太烂了，速度太慢，于是我采用了上面说能跑到97%的FourierKan做实验，尝试将这种kan替换transformer的mlp。我跑的实验是MAE pretrain，但是似乎怎么跑loss都比mlp高。KAN可以宣告完结了？
游泳教练刚出事的时候，其实他的体位改变已经让工作人员意识到了不对劲，喊了他两声。. 如果是个普通人正常游泳，发生了这种突然的体位改变，还溺到水面之下，用常识也可以判断出来情况可能不妙。. 但问题恰恰在于， 游泳教练是专业人士，而他又在 ...
2024年4月18日 · 一个是固定住模型大小，持续增加训练数据，模型效果会持续变好，只要你有源源不断的新数据能加进来，那么小模型就能效果持续变好；另外一个是固定住训练数据量，那么你持续放大模型参数规模，同样的，模型效果也会越来愈好。 如果我们把按指定比例同时增加训练数据和模型容量叫做“Optimal Chinchilla Law”，那么这两种做法可以被称为“Sub-optimal Chinchilla Law”。 -从上面可以看出，到2025年下半年之前，我们仍然可以走目前的Scaling law的路子，一般是同时增加数据和模型规模，来快速提升模型能力。
这项立法旨在使未来的AI出口法规免受法律挑战. 北京时间5月10日，当地时间周三晚间，美国众议院一个由两党议员组成的小组公布了一项法案，该法案将使拜登政府更容易对人工智能 (AI)模型实施出口管制，以保护这项重要美国技术不受外国不良行为者的侵害 ...
2024年4月26日 · 一、欧金金是什么？. 其实稍微查查不难查到，欧金金（おちんちん），日语指男性生殖器，而且一般指小孩的，类似中文的小坤坤的意思。. 至于为什么叫欧金金，说法不一。. 有认为是佛教用语「珍宝（ちんぽ）」的变体，还有各种杂七杂八的说法。. 日语的 ...
