人工智能培训

搜索

图像拼接现在还有研究的价值吗?有哪些可以研究的点?现在技术发展如何?

[复制链接]
admin 发表于 2018-5-30 14:02:55 | 显示全部楼层 |阅读模式
admin 2018-5-30 14:02:55 133 1 显示全部楼层
软件的原因是算法不够好。每一个拼接软件都基于BROWN Great God 03'ICCV和07'IJCV提出的AutoStitch方法,并且在这之后添加的是该产品。您可以下载最新版本的AutoStitch软件并试用。该软件也已更新。最新版本是在13年内发布的AutoStitch,或者是11年的OpenCV实现stitcherhttp://stitching.Image拼接,添加了10'CVPR颜色校正和03'ACM TOG最佳缝合估计。该算法使用单应矩阵来对齐两个图像。这种技术有两个要求:一是要求输入图像近似于一个平面的场景。不能改变拍摄位置。简单地说,就是站在同一个位置并拍摄远处的几座山。这次它可以很好地拼接,就像下图所示:但是,如果你的照片不符合上述两个条件,那么在两次拍摄时相机的光学中心不会重合,或者场景(图像重叠区域)包含多个平面。这是两幅图像的重叠区域存在视差问题的地方。对于伪影或明显不对准或不能拼接的情况,如下图所示,在拼接图像蓝色框中,墙壁和门的小重影出现模糊,并且地面的巨大鬼影明显:光学中心距离越远,场景平面越靠近相机。视差越大,鬼现象越严重,距离越远......这不是一个技术问题。上述分析从算法角度解释了模糊性的原因。解决方案是参考图像拼接领域的最新研究进展。版权问题不方便提供拼接软件。如果你是技术用户,你可以参考这些文章:13'CVPR,14'PAMI的APAP http://cs.adelaide.edu.au/~tjchin/apap/,14'CVPR的SPHP http:// Yung- Yu Chuang(仅源SPHP,没有SPHP + APAP实现),15'CVPR AANAP(IBM当然没有源代码),16'ECCV GSP http://自然图像拼接与全局相似性之前(尚未发布),if你只是想拼接几个图像而不关心技术,你恰好使用MATLAB,你可以尝试使用MATLAB代码提供的作者的主页,以下是我的文章算法的马赛克效果:原图:APAP算法:SPHP + APAP算法:AANAP算法:最后,与令人失望的AutoStitch相比,蓝色盒子显然模糊且完全不对齐:强大的后处理和去伪像技术只能处理小视差和不对齐,并且相对较大的误差和模糊难度最后,如果你是技术性的,并且有大的视差和misa要处理的图片中比上述图片严重的问题,可以通过将缝线驱动与网格优化相结合来解决,并推荐几篇相关文章:13'Eurographics'Seam驱动,14'CVPR的视差宽容视差 - 宽容的Image Stitchin,16'ECCV的SEAGULL图像拼接工程,没有透露源代码,我没有转载算法,仅供参考,如果imageInterested用于视频拼接的新算法,请参考我的其他答案:还有价值吗现在在研究图像拼接?可以研究什么?现在的技术发展如何? - 全景 - 智慧
回复

使用道具 举报

 楼主| admin 发表于 2018-5-30 14:04:49 | 显示全部楼层
admin 2018-5-30 14:04:49 显示全部楼层
雅琪LY的回答非常全面。这确实是第二个春天出现之后出现了很多有趣的工作,主要致力于如何消除重影问题,许多文章结合图像变形使镶嵌更加自然和自然的最终结果(如Paul Lin)。以下是对内容保留翘曲的简要回顾,并补充了一些视频拼接工作。[1] Igarashi T,Moscovich T,Hughes J F.尽可能严格的形状操作[C] // ACM图形处理(TOG)。 ACM,2005,24(3):1134-1141。这张05年的siggraph论文是关于翘曲的最经典的作品。图像扭曲实际上是2D网格的转换(三角形或四边形,四边形网格可以分为两个三角形网格)。日本UI之神Igarashi所做的工作原本是用于交互式动画。它要求变换之前的图像在变换之前尽可能的刚性。所谓的刚性是变换后的三角形网格,然后是变形前的网格。保持1)相似; 2)尺寸相似。为了保持相似性,他为每个三角形创建了一个局部坐标系。三角形中的每个点都可以用其他两个点表示。变换后的三角形也应该与其原始坐标系一致。下图使用v2作为示例。添加这样的约束将使变换后的网格与变换前的网格尽可能相似[2]。 Liu F,Gleicher M,Jin H,et al。保持3D视频稳定的内容保留曲线[J]。 ACM图形处理(TOG),2009,28(3):44。2009年,冯峰利用上述相似性约束和相应的特征点构造了一个优化函数,以扭曲输入视频的每一帧,从而稳定视频[3]。张,,刘斐。视差耐受图像拼接[C] // IEEE计算机视觉与模式识别会议论文集。 2014年:3262-3269。经过14年的cvpr,刘锋将[2]的想法分组,并将保留内容的翘曲并再次刷新。实际上,随着VR 360°全景视频的发展越来越流行,市场上出现了多种360°全景视频。研究结果表明,在这两年里也比较热。[4] Perazzi F,Sorkine-Hornung A,Zimmer H等人。来自非结构化相机阵列的全景视频[C] //计算机图形学论坛。 2015年,34(2):57-68。例如,关于迪斯尼研究苏黎世的15年EG论文描述了非结构化相机阵列的工作。这种设备和以前的结构化相机阵列的区别在于,结构化相机阵列本身的硬件成本相对较高。例如,该设备的价格与相机的相当相似。如果能从软件上解决这个问题,就不需要精确的钻机来制作全景视频,这绝对会降低消费门槛。本文主要解决针法的顺序问题,并且存在全局相干扭曲问题。结果是好的,但是存在抖动问题。接下来的三个任务受到这项工作的启发。虽然它可以非结构化的相机阵列,但仍然需要某种结构来固定相机死亡,你甚至可以去架子上,直接拼接手持视频?当然,但非专业人员在手持设备中拼接视频面临更大的挑战:1)手持设备本身捕获的视频非常嘶嘶; 2)输入视频可能与自己的晃动不太相关; 3)视频之间的每个视差变化相对较大且不固定。[5] Lin K,Liu S,Cheong L F,et al。无线视频拼接从手持相机输入[C] //计算机图形学论坛。 2016,35(2):479-487。16年EG工作带头给出了答案。他们使用三维重建方法计算相机路径,上面(b)中的红色和白色路径,然后插入一条虚拟蓝色路径。根据此虚拟路径,重建点和改进的CPW(所谓的“称为LPVW,其实际上是比[2]中的CPW更直线的约束),将输入视频扭曲以获得最终的马赛克视频。它们的方法可以被看作是稳定的,然后被缝合。然而,基于三维度重建本身相对较慢,价格相对较弱[6]。郭昊刘,何滔等移动摄像机的联合视频拼接和稳定[J]。 IEEE Transactions on Image Processing,2016,25(11):5491-5503。[7]刘S,袁莉,谭萍,等。视频稳定的捆绑摄像机路径[J]。 ACM Transactions on Graphics(TOG),2013,32(4):78。在[5]的后续工作[6]中,他们提出了一种不需要三维重建的方法,该方法是视频剪接以及优化时的视频稳定。正如我们所提到的如前所述,来自手持设备的视频剪辑更难拼接。 原因是不同的视频有不同的级别,并且没有相关的抖动。 因此,从视频去抖开始,解决视频拼接问题可能是一个好主意,它可以使稳定的视频路径同时满足视频稳定性和视频拼接的要求。[6]的基本思想是这样的。 基于一种经典的视频去除方法Siggraph 2013 [7],[7]作者也是刘书成,[7]原理如下图所示,传统的视频方法一般估计摄像机路径, 7]将视频分成许多区域并估算每个区域的摄像机路径是很有创意的。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

admin当前离线
管理员

查看:133 | 回复:1

快速回复 返回顶部 返回列表