人工智能培训

搜索

人工智能教程:深度神经网络训练过程中,验证准确性的波动有多大?

[复制链接]
admin 发表于 2018-5-16 23:30:47 | 显示全部楼层 |阅读模式
admin 2018-5-16 23:30:47 101 0 显示全部楼层
人工智能教程:深度神经网络训练过程中,验证准确性的波动有多大?你的模型正在学习区分卡车和非卡车。但它只能看到训练数据。因此无法判断哪些区别对测试集合有好处。这就是为什么我们使用验证集,告诉我们模型何时在没有看到的示例上做得很好。换句话说,我们的验证集让我们检查泛化性能。泛化的质量是绿线。蓝线是神经网络学习你实际训练它要做的任务的情况。当绿线下降如此强烈时,这意味着尽管网络在训练数据上做得更好,但对于看不见的数据却变得更糟。如果您正在为实际任务培训神经网络,重要的是跟踪绿线并在重量达到新高时保存重量。这些权重是您在部署解决方案上使用的权重,因为它们表示权重设置,对于看不见的数据效果很好。

人工智能教程:深度神经网络训练过程中,验证准确性的波动有多大?如果您想尝试使绿线更像蓝线,您可以尝试使用更多或更好的正则化,例如重量或激活时的丢失或L1 / L2正则化。如果你这样做,你可能会看到蓝线上升速度要慢得多,但是绿线会更接近它,​​至少直到培训期间的晚些时候,这两条线将开始分离(并且绿线可能会离开再次下降)。

我不会担心太多,但如果你问这个问题的原因,那肯定是你可能正在使用一个很少正规化的大型网络。所以网络有很多自由选择不同的分类训练数据的方法。但其中只有一些是非常好的概括,其他则过度训练数据。结果有时候验证性能很好,有时候很糟糕。你可以尝试L2正则化和辍学。但在任何情况下,选择导致最高验证准确性的模型都可以,因为您的验证集很大。在如此庞大的集合中,高度的验证性能不会发生巧合。所以我不认为这些波动是一个很大的问题。问题是你的验证数据是有偏见的。 当验证数据只有一类时,培训准确性大多会波动。 解决该问题的一个可能的解决方案是洗牌训练数据并从该训练数据中选择验证数据。 其他问题可能是您的训练数据的大小非常小,并且模型过度拟合。 减少过度拟合的简单技术是使用体重正常化,辍学。



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

admin当前离线
管理员

查看:101 | 回复:0

快速回复 返回顶部 返回列表