人工智能培训

搜索

CVPR2017oral注意力模型RA-CNN简析

[复制链接]
北北 发表于 2018-5-5 17:24:39 | 显示全部楼层 |阅读模式
北北 2018-5-5 17:24:39 938 3 显示全部楼层
最近在关注注意力模型,为啥呢,我觉得这个跟人眼机理比较接近。同时,这个相当于让机器不再呆板,有了变化。问渠那得清如许,为有源头活水来。活的才是好玩的。
这篇文章的论文地址在这里:
http://openaccess.thecvf.com/content_cvpr_2017/papers/Fu_Look_Closer_to_CVPR_2017_paper.pdf
他有一个姊妹篇。文章地址在这里:
http://openaccess.thecvf.com/content_ICCV_2017/papers/Zheng_Learning_Multi-Attention_Convolutional_ICCV_2017_paper.pdf
两篇文章都是微软一个组发的。
代码地址在一起,用windows写的。
http://onedrive.live.com/?authkey=%21AJ9U-37Dx75rFzk&id=693885F2E24EFF4D%21125&cid=693885F2E24EFF4D
RA-CNN是学循环注意力,关注一个点,姊妹篇MA-CNN呢,是关注多个点。相较而言,一个图片多个注意力点才比较适合真实场景。两篇文章可以合二为一搞,就更接近真实的业务需求了。不过那样的话计算量大,收敛慢,但这不正是出paper的切入点么。
今天我们主要来聊聊RA-CNN。
首先,文章的背景是解决细粒度分类的。
我们从两个方面来解构这篇文章:网络结构和损失函数。其实还有一个亮点是他的训练方法。
网络结构
 
erTDfT3Y6v5s3TSF.jpg


你可以认为它是一个级联网络。事实上就是一个级联网络。每一层的网络结构是VGG19+APN层,APN层是类似于faster-rcnnRPN层,提供候选框的。
这个网络结构的信息流就是这样走的:原始图片通过VGG19提取特征,然后在这些特征基础上生成不少候选框,从中挑一个候选框后,把这个正方形(注意不是矩形)区域,放到到跟第一次训练的输入原始图片尺寸大小,然后接着提取候选框,往后走。
为了防止候选框选得太小,他每层选候选框的时候,候选框的大小不小于前一次的三分之一。


损失函数
lO5o97Y8s2GslhW7.jpg
前一项是分类的损失函数,后一项是候选框的损失函数。为什么后一项只是从1-2?因为三层的网络结构中的第三层是没有APN层的。
第二个损失非常有意思。他的展开式是长这样子的:
F7VVqB66tDtzOqTU.jpg


事实上,Pt都是分类正确的概率,他这个损失函数的目标是让你下一层网络得到的分类正确概率大于上一层网络得到的分类正确概率,这样递进,就能保证你候选框选的正确。
这个正方形怎么回归呢?
Raezr9hFgYxnFxeZ.jpg
他根据图像的响应来移动正方形的中心。这个里面还有很多东西可以细嚼。
接下来谈谈他的训练方式,这个也是我比较感兴趣的地方。想实现一把,代码没写起来。有没有人想一起写的?
训练方式
交替训练,先固定APN层的参数,然后训练VGG19的分类精度;然后固定VGG19的参数,训练APN层。这样交替训练来达到均衡。基本收敛吧。
这个有点类似GAN,但不一样,GAN两个网络是对抗的,这个两个网络是相互促进的。
你想想看,这个东西实现起来还比较困难,你需要固定一层,然后损失函数也要跟着变。我还没有实现出来。
Qh5GBRUHb5RHRcFQ.jpg
回复

使用道具 举报

getchar 发表于 2018-10-18 15:21:41 | 显示全部楼层
getchar 2018-10-18 15:21:41 显示全部楼层
你好,你给的代码链接打不开,请问有什么办法能打开吗?或者你那有没有现成的源码?有的话能发我一份吗?
回复 支持 反对

使用道具 举报

getchar 发表于 2018-10-18 15:22:19 | 显示全部楼层
getchar 2018-10-18 15:22:19 显示全部楼层
你好,你给的代码链接打不开,请问有什么办法能打开吗?或者你那有没有现成的源码?有的话能发我一份吗?
回复 支持 反对

使用道具 举报

getchar 发表于 2018-10-18 15:22:48 | 显示全部楼层
getchar 2018-10-18 15:22:48 显示全部楼层
你好,你给的代码链接打不开,请问有什么办法能打开吗?或者你那有没有现成的源码?有的话能发我一份吗?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

北北当前离线
新手上路

查看:938 | 回复:3

快速回复 返回顶部 返回列表