新浪博客

基于单应性扩散约束的二步网格优化视差图像对齐

2024-07-26 17:04阅读：

http://blog.sina.cn/dpool/blog/u/1304706164

引用本文

陈殷齐, 郑慧诚, 严志伟, 林峻宇. 基于单应性扩散约束的二步网格优化视差图像对齐. 自动化学报, 2024, 50(6): 1129−1142 doi: 10.16383/j.aas.c210966
Chen Yin-Qi, Zheng Hui-Cheng, Yan Zhi-Wei, Lin Jun-Yu. Parallax image alignment with two-stage mesh optimization based on homography diffusion constraints. Acta Automatica Sinica, 2024, 50(6): 1129−1142 doi: 10.16383/j.aas.c210966
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210966


关键词

图像对齐，视差场景，网格优化，匹配特征缺失区域

摘要

目前, 在带有视差场景的图像对齐中, 主要难点在某些无法找到足够匹配特征的区域, 这些区域称为匹配特征缺失区域. 现有算法往往忽略匹配特征缺失区域的对齐建模, 而只将有足够匹配特征区域中的部分单应变换系数(如相似性变换系数)传递给匹配特征缺失区域, 或者采用将匹配特征缺失区域转化为有足够匹配特征区域的间接方式, 因此对齐效果仍不理想. 在客观事实上, 位于相同平面的区域应该拥有相同的完整单应变换而非部分变换参数. 由此出发, 利用单应变换系数扩散的思想设计了一个二步网格优化的图像对齐算法, 简称单应扩散变换(Homography diffusion warping, HDW)算法. 该方法在第一步网格优化时获得有足够匹配特征区域的单应变换, 再基于提出的单应性扩散约束将这些单应变换系数扩散到邻域网格, 进行第二步网格优化, 在保证优化任务简洁高效的前提下实现单应变换系数的传播与图像对齐. 相较于现有的针对视差场景图像对齐算法, 所提方法在各项指标上都获得了更好的效果.

文章导读

图像对齐技术广泛应用于图像配准[1]、视频稳定[2]、遥感[3-4]和图像拼接[5], 是计算机视觉和计算机图形学的重要研究领域[6-8], 其中的拼接应用扮演着重要角色[9]. 本文针对图像拼接中重叠区域的对齐展开研究, 因为拼接中的重叠区域与非重叠区域互相独立, 在使用本文提出的对齐方法后, 非重叠区域可以使用其他任意方法来获得令人满意的结果[10-12]. 关于拼接中的图像对齐, 根据需要对齐图像的场景不同可以分为基于无视差场景和有视差场景的方法. 早期全局单应变换方法[1, 13-14]在只存在旋转缩放的相机相对运动或单一平面的无视差场景下能得到很好的结果[15]. 但在现实应用中, 通过自由的拍摄形式拍摄任意的景物所获得的图像才更符合实际需求. 此时, 如果景物存在多平面且相机拍摄时存在相对平移, 图像之间会产生视差, 导致重叠区域中属于不同平面物体的对齐存在不同的单应变换, 对可靠的图像对齐形成挑战. 这种视差场景下的对齐问题尚未得到完全解决, 受到研究者关注[5, 9, 16-18].

为解决视差场景的挑战, 有研究者提出局部化思想[6, 19], 这种思想最初应用于图像编辑[20-24]. 基于局部化思想的方法[6, 19]与基于全局单应变换的方法[1, 13-14]相比, 可以有效改善视差复杂场景的对齐效果. 但是在某些区域中, 传统算法难以找到匹配特征甚至完全不存在匹配特征, 而且现有方法都忽略了建模这些区域, 本文把这些区域称之为匹配特征缺失区域. 在后续研究中, 有研究者在局部化思想启发下提出基于网格的优化方法[8], 通过将图像划分成网格, 优化由网格顶点构成的函数来提升图像对齐的效果, 体现出很大潜力, 使得图像对齐研究开始向网格优化的方向发展. 然而, 目前的网格优化方法[5, 8-9, 16, 25-28]普遍通过保持有足够匹配特征区域的部分单应变换系数来建模匹配特征缺失区域, 并结合全局预变换约束. 这种约束虽然适用于图像编辑, 但不符合实际场景中一个物体平面的视角变换情况, 导致在存在匹配特征缺失区域的场景中表现不佳. 如图1(a)所示, CPW (Content-preserving warping)[8] 和SVIW (Spatially-varying image warps)[16]由于对匹配特征缺失区域建模不准确而没有对齐, 本文提出的方法依靠单应性扩散约束对匹配特征缺失区域的准确建模而对齐.
基于单应性扩散约束的二步网格优化视差图像对齐
图 1 本文算法与现有方法的图像对齐效果对比

由于上述方法仅依靠匹配特征点的坐标实现, 不可避免地会在匹配特征缺失区域表现不佳. 因此, 有研究者采用另一种思想, 即通过增加匹配特征来增强对齐效果. 例如, 一些学者研究了如何让点特征更加丰富[3, 9, 29-32], 但是这些方法过于依赖图像局部的判别性, 在规则的场景中欠优. 有一些学者提出利用匹配线特征[5, 25-26, 28, 33-37]对齐. 然而, 在具有不规则物体的视差复杂场景中, 线特征的提取匹配结果仍然不理想, 甚至不存在线特征. 利用平面与平面匹配特征的做法也开始引起学者们的关注[7, 17-18, 38-40], 但其获取面匹配特征的方式依赖于一些平面分割方法和特征点空间分布规律等, 现有分割方法的不鲁棒以及匹配特征点在无特征区域的缺失使得在具有不规则物体的场景中表现不佳(如图1(b)所示), SMH (Synthesizing multiple homography)[17]和PCPS (Projective-consistent plane based image stitching)[18] 由于对不规则物体特征约束较弱而没有对齐, 本文提出的方法由于二步优化的强特征约束而对齐. 在利用新特征上, 最近的工作提出使用特征点的角度来引导对齐[41], 丰富对特征点属性的利用. 上述这些添加新特征的方法都未对匹配特征缺失区域直接建模, 而是试图通过提取新特征将匹配特征缺失区域转化为有足够匹配特征的区域, 间接解决匹配特征缺失区域的匹配问题. 然而, 不同场景具有不同特征, 这种为匹配特征缺失区域新增匹配特征的做法难以适应各种不同场景, 因此有必要专门研究匹配特征缺失区域的建模方法, 这也是提升任意场景中图像对齐质量的关键所在. 此外, 由于深度学习的兴起, 一些相关研究[42-50] 也应运而生, 然而这些方法训练所用的数据集为虚拟生成或借由其他特征提取等相关任务数据集扩展到对齐任务. 对于应用中的多变场景, 这些依赖特定域的方法缺乏泛化能力.

本文针对现有方法对匹配特征缺失区域建模的不足, 基于完整单应变换系数传播的思想, 在建模中保持匹配特征缺失区域与相同平面上有足够匹配特征的区域具有相同的完整单应变换. 采用分两步线性求解的优化方式, 在不使优化函数过于复杂的前提下实现单应变换系数的传播. 具体而言, 本文提出基于单应性扩散约束的二步网格优化算法, 简称单应扩散变换(Homography diffusion warping, HDW), 先利用有足够匹配特征的区域进行局部单应变换获得可靠估计. 通过第一步网格线性优化对齐存在匹配特征的网格单元, 计算出这些网格单元的完整单应变换系数, 作为第二步网格优化的先验知识,

我的更多文章

下载客户端阅读体验更佳

APP专享