人工智能培训

搜索

深度学习”主要意味着使用反向传播来优化代表某种可微函数的深度计算图中的所有参数

[复制链接]
admin 发表于 2018-5-2 21:28:58 | 显示全部楼层 |阅读模式
admin 2018-5-2 21:28:58 119 1 显示全部楼层
“深度学习”的定义非常广泛,我不确定它可以被替代。深度学习只意味着学习处理流程的几个步骤,而不是只学习一个步骤。从这个角度来看,相对于浅算法的数量,深算法的数量会出现组合式爆炸。在2006 - 2011年,“深度学习”很受欢迎,但“深度学习”主要是指将无监督学习算法叠加在一起,以便为监督学习定义复杂的特征。自2012年以来,“深度学习”主要意味着使用反向传播来优化代表某种可微函数的深度计算图中的所有参数。

看起来我们很快可能会有更多的贝叶斯算法(而不是基于最佳参数的单点估计),使用更多的非微分操作等等。我们仍然可能会认为它们是“深的“但是,当我们停下来思考他们是否”深刻“。
我也认为我们会放弃对“深度学习”和其他学习之间的区别。深度学习已经非常普遍,已经不再那么奇特了,不需要特殊的品牌和公关努力来接受它,等等。通常,DL在蒙特卡洛方法的精神上似乎有点相似。蒙特卡洛用蛮力抽样代替微妙的推理(不考虑更改措施等更高级的事物)。即使是最简单的形式,它也经常起作用。我们需要弄清楚DL中的内容是什么使它起作用并抛弃所有的绒毛。显然,依靠像梯度这样弱的概念迟早会消失,也许整个形式会改变。认识到这一点也很重要,因为没有实际的学习。学习意味着将一个概念应用于新的情况,甚至简单的概念。例如,你训练一个x ^ 2的网络,另一个训练x + y。你应该能够解决x ^ 2 + y ^ 2没有新的训练,这应该是一个简单的推理,使用我们学到的两个模型。然而,如果不进行再培训或尝试各种可能的组合,我不知道如何实现这一目标。防范敌对的例子是一个非常热门的话题。如果你想要做这件事,你应该看看我们的Kaggle比赛:NIPS 2017:针对敌人的攻击
Aleksander Madry等人发现,通过随机重新启动的迭代算法创建的对抗性示例的敌对培训非常适合作为MNIST和CIFAR的防御。他们有一个公开的挑战来打破他们的模型:MadryLab / mnist_challenge关于如何窃取远程托管模型然后攻击它们有很多工作([1602.02697]针对机器学习的实用黑盒攻击)
一个热门的研究课题是如何更好地在不同模型之间进行对抗性转换(https://arxiv.org/pdf/1611.02770 ...),以及如何使它们成为在物理世界中运作的傻瓜模型([1607.02533]在物理世界中的对抗例子,配合犯罪),从不同距离和角度的相机中查看敌对的例子(强大的对抗例子)我个人在使GAN更加稳定,可靠和易于使用方面做了大量工作。很多人对搞清楚如何使用GANs文本感到非常兴奋。对于隐写术的对抗技术有一些兴趣(例如通过对抗训练产生隐写图像)。面临的挑战是如何提供有力的保证。对抗半监督学习的方法([1605.07725]半监督文本分类的对抗训练方法,[1705.09783]需要坏GAN的良好半监督学习)。还有很多其他的研究正在进行中;列出一切都是不可行的!



回复

使用道具 举报

 楼主| admin 发表于 2018-5-2 21:32:57 | 显示全部楼层
admin 2018-5-2 21:32:57 显示全部楼层
There’s a lot of other research going on; it would be infeasible to list everything!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

admin当前离线
管理员

查看:119 | 回复:1

快速回复 返回顶部 返回列表