人工智能教程

搜索

人工智能教程:为什么深度学习研究者不应用套索式正则化来构建可解释的模型?

[复制链接]
admin 发表于 2018-5-16 23:40:38 | 显示全部楼层 |阅读模式
admin 2018-5-16 23:40:38 17 0 显示全部楼层
人工智能教程:为什么深度学习研究者不应用套索式正则化来构建可解释的模型?我不认为套索实际上给深度学习模型提供了很多解释性,因为神经网络的特征不是很好理解(例如它们是合成的),所以选择神经元并将其他设置为零通常不是很有用,它是需要努力弄清楚每个神经元实际上做了什么(我想我看到了Karpathy提到了如何跟踪神经元的统计数据,因为人们用神经元和“可解释的特征”来跟踪相关性,但似乎还有很多工作要做那和为了什么好处?)。另外,就我的理解而言,DL中的氛围/文化是可解释性并不重要(或者至少不是优先考虑),那么为什么这么多努力获得如此小的收益呢?

人工智能教程:为什么深度学习研究者不应用套索式正则化来构建可解释的模型?如果我正确地记得,在NIPS的讲座中,LeCun教授说,经济学家通常会发表可解释模型的论文,但是他们会说“让我们开始”,而那些“实际工作”的论文。我想你的意思是稀疏特征更易于解释。对于非常小的层数,即对于实际上不再使用的东西来说,这可能有些不正确。更重要的是,稀疏并不会导致更好的表现模型,因此研究人员首先瞄准更好的模型,并为以后更容易解释的问题留下担忧:在实践中,如果你不关心明确的特征选择,那么L2正则化可以比L1提供更好的性能。
- 用于视觉识别的CS231n卷积神经网络。有人说稀疏编码“应该”会产生更好的结果,但问题是我们通常无法看到目前广泛使用的体系结构。但是,我们不要忘记我们的大脑采用稀疏而且效果很好,所以也许我们还没有想出实现它的最佳方式。

有意思的是,分裂的归一化(因为L1和L2是衰减版本)被认为是大脑中的规范计算[1],所以也许我们应该更接近原始模型以获得更好的结果。我想指出的是,湿件中使用的指数通常为2或略高于2。非常实用的结果可能是,我们对人工神经网络的理论认识还处于起步阶段。所以,不是作为对原始问题的回答,而是作为对我们对于我们认为我们已经知道的事物的了解如何彻底改变的说明:

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

admin当前离线
管理员

查看:17 | 回复:0

快速回复 返回顶部 返回列表