搜尋結果
loss函数. 多神经网络级联,loss如何优化？ 关注者. 1. 被浏览. 1,290. 1 个回答. 默认排序. sunshinelala. 3d slam、tvm. 3 人赞同了该回答. 对于多 神经网络 级联，loss的优化一般可以通过以下几种方法实现： 参数调优：通过调整神经网络的参数，如学习率、正则化系数等，来提高模型的拟合能力和 鲁棒性 ，从而优化loss。 网络架构调整：通过调整神经网络的架构，如增加隐藏层数量、增加隐藏层 神经元 数量等，来提高模型的表达能力和 泛化能力 ，从而优化loss。 训练数据增强：通过对训练数据进行增强，如随机旋转、随机裁剪等，来增加模型的泛化能力和鲁棒性，从而优化loss。
1 训练的时候 loss 不下降. 模型结构 问题。 当模型结构不好、规模小时，模型对数据的拟合能力不足。 训练时间问题。 不同的模型有不同的计算量，当需要的计算量很大时，耗时也会很大. 权重初始化问题。 常用的初始化方案有 全零初始化 、正态分布初始化和均匀分布初始化等，合适的初始化方案很重要，之前提到过 神经网络初始化为0可能会带来的影响. 正则化问题。 L1、L2以及Dropout是为了防止 过拟合 的，当训练集loss下不来时，就要考虑一下是不是正则化过度，导致模型欠拟合了。 正则化相关可参考 正则化之L1 & L2. 激活函数问题。 全连接层 多用ReLu，神经网络的输出层会使用 sigmoid 或者 softmax。 激活函数可参考 常用的几个激活函数 。
2017年6月2日 · 1 个回答. 默认排序. seeds. 专家级标签工程师. 12 人赞同了该回答. 这个可能性就太多了， loss 是训练集还是 测试集. 有几个分析方向： 1. 模型可以学习到，只是 剃度震荡 导致降不到最优，这种可以考虑降低学习率，增大 batch 的大小。 2. 数据可以学习到，但是 模型拟合 能力不够强。 可以考虑增大cnn深度，比如换成vgg16测试下，另外lstm也可以换成双向的加强拟合能力. 3.训练集能百分百但是测试集只能89%，这种最有效的方法是增大训练数据，当然也可以试试一些正则方法比如bn，dropout等. 发布于 2017-06-02 07:30. 我用cnn + 3层lstm 训练识别。
我觉得盯着 损失函数 看是个很好的习惯啊。. 就拿分类任务来说，在PyTorch中BCE损失函数的初始值一般是0.7左右（应该是1，但这里有个小bug，就是在算 信息熵 的时候应该用log2，但是PyTorch用了 log e ，所以就变成0.7了），那么看这个数值能告诉我们很多信息 ...
2021年3月1日 · 机器学习. 神经网络. 深度学习（Deep Learning） TensorFlow 学习. Keras. loss一下子下降，然后loss基本维持不变，accuracy也一直不变，可能是什么原因？ 基于TensorFlow框架，导入Keras搭建了单层LSTM神经网络，神经元数目为32个。 使用金融数据进行时间序列预测时，train loss在前几… 显示全部 . 关注者. 4. 被浏览. 8,230. 6 个回答. 默认排序. nlp的小学生. NLP读研党. 数据太过简单，直接收敛？ 发布于 2021-03-01 09:14. Me1817. E~朵奇葩. 谢邀 @布瓜不瓜. 失恋了. 发布于 2021-03-01 23:32. 知乎用户. 优化器换成SGD试试.
2019年3月28日 · 1 个回答. 瞎bb队长 . 蚂蚁金服 算法. Loss下降太快，并且等于0了，说明过拟合了。 发布于 2019-03-28 19:32. 使用faster rcnn进行目标检测，训练自己的数据集，可视化loss曲线以后发现，不到一个epoch，loss就下降最…
为什么会出现训练集和验证集的loss一直减少，但是测试集的loss先减小后增大的情况（如下图）？ 1 个回答 验证集loss不断上升，训练集loss一直下降，是什么原因？
