基于改进Harris算法的全自动无缝图像拼接

0 引 言

视觉呈现效果常常涉及图像拼接的相关问题，其实际运作机制为：实现多张图片的有效拼接，使得实际的效果呈现全景化[1-2]。当前比较熟悉的平面设计行业、VI计算机视觉系统设计行业、虚拟现实行业都会有这样的视觉呈现的需求[3-4]。毕竟人们在审视图像的时候，一直会以更加全面、更加清晰、更加立体化为目标，这就要求图像拼接技术能够不断提升，以满足实际需求[5]。根据图像拼接算法的发展，配准主要由两种方法构成：一种是关于区域的配准方法，另一种是基于特征的配准[6]。处于特定范围内，其配准关注的焦点在于：以待拼接图像的灰度值为起点，或者说将其界定为参考量，运用数学方法实现待配准图像区域的数值，实现两者之间的对比，在界定彼此之间的相似程度之后，可以得出重叠区域范围大小和位置大小，再去进行拼接操作[7-8]。当然在实际拼接的过程中，可以利用FFT实现图像频域的界定，在此基础上进行配准操作，往往更加精准和高效。在实际拼接案例中会遇到位移的问题，如果确定对应图像需要进行大范围的位移，此时图像旋转就成为操作关键所在，旋转完成后，需要在这两者之间形成映射，这样才能够为后续的工作奠定基础。在此需要清楚知道特征为基础的配准，其在操作中图像的像素值并不会成为主参考量，是在导出机制的帮助下，获取图像的属性，接着对特征区域实现全面搜索，以达到对应的匹配值，此算法的关注点在于健壮性和鲁棒性[9]。以特征为基点的配准，其实现路径中需要关注抽取和配准两个问题。在灰度变化明显的区域，可以找到点元素、线元素、区域元素的特征集合，将其融合起来，实现两者关系格局的探寻。

对照组15例患者采用的是CT诊断，方法为：患者采取仰卧位，扫描部位为患者的腰部，扫描顺序为：L3/L4～L5-S1平扫，调整层厚度为1.5mm，螺间距为1.0mm，倾斜角度控制在30°，并对检查结果进行记录。

Harris算法的核心在于角点检测，没有必要去考虑亮度和对比度这两个因素。角点检测过程中，微分算子的运算不会因为图像密度变化出现反应，在图像变换中亮度和对比度会发生变化，既然此算法对此没有反馈，就没有必要去考虑。在此过程中，阈值的有效选择是至关重要的，其对于角点检测量产生不同程度的影响。对于此问题，很多学者提出了改进算法，文献[10]提出将区域检测方法和多尺度Harris角点检测算法相结合使检测到的角点数目更少，以提高后续的图像匹配重建效率。文献[11]提出了将图像分割成3×3个无重叠子图，根据每个子图的对比度的大小，来设置每个子图的阈值。文献[12]提出了一种将Harris和SIFT结合的图像配准方法。针对Harris算法的不足，本文提出了一种改进算法，以实现图像的高效拼接。

1 图像拼接算法的流程

图像拼接技术是个系统化的过程，其牵涉面比较广泛，各个步骤之间又相互关联，相互依赖。一般情况下，图像拼接的过程如图1所示，主要经历如下的流程：图像素材的收集和整理-前期的准备工作-提取特征点，实现与对应需求图之间的对比分析-实现图像的配准-作好后期图像融合工作，达成目标。其中，配准和融合在任何情况下都是必要的内容。

2 特征点的提取与匹配

特征匹配的价值在于：对于实际特征进行探究，争取可以清晰全面地进行描述，在此过程中稳定性是最为主要的判定指标。无论是旋转属性，还是尺度缩放情况，或是仿射变换因素，再或是视角变化情况，包括光照变化因素，都需要进行有效判定，并且使其处于相对稳定的状态，这样可以为匹配的稳定性奠定基础，这是特征点匹配中最为关键，也最难把控的阶段，必须经过严格的计算和整理。

  

图1 本算法图像拼接流程图

 

Fig.1 Flow chart of the algorithmfor image stitching

除此之外，特征描述符由于阐述的是图像的局部特征，在实际目标疲惫中也需要进行有效处理，以实现特征向量的稳定性提升，引导图像特征匹配朝着更好方向发展。在点特征匹配的流程中，需要树立精细化控制意识，需关注的控制点为：其一，对于特征点进行检测，是以灰度变化局部极值属性为基础的，对于结构信息明显的节点要进行检测，因为其中可能存在易于匹配的属性特征；其二，对于特征点实现描述，在特征向量机制下，对于参与匹配的特征点进行描绘，保证描绘的稳定性是此环节的重要任务目标之一；其三，基于特征匹配，实现候选点的界定，依照相似性驱动匹配工作，相似度的界定，可从欧氏距离角度来探析，可从街区距离维度来剖析，可从马氏距离来归结，也可以从多种维度来考量；其四，实现误匹配的消除，使得实际误差现象能够减小，此时就是以几何或者光照约束信息为基础，找到其中匹配点的错误将其消除，也可以运用随机抽样一致性的算法来处理。

2.1 Harris角点检测

角点有两种判别方式：一种是图像的灰度发生很大的变化，另一种是曲率是图像边缘的极大值。Harris算法是一种操作比较简单的方法，而且有多个优点，所以Harris在角点检测上被广泛使用。通常来说，Harris图像角点检测的实现可以归结为5步骤：

(1) 通过两个方向的算子对图像所有点进行滤波处理，得到图像I(x,y)在x和y两个方向的梯度，以求得Ix、Iy， 进而求得n中4个元素的值：

 

(1)

式中

冠状动脉疾病是一种常见的心脑血管疾病，将会对患者的生命安全构成较为严重的不良威胁，需要采取有效的措施进行治疗[1]。然而由于患者的患病类型与病情程度不同，因而若想有效的提升患者的治疗效果与预后质量，则需要对患者进行有效的检测。以往主要使用选择性冠状动脉造影的方式进行检测，但由于检测技术存在较大缺陷，因而不被患者及其家属接受[2]。随着科学与医学技术的不断发展进步，目前临床检测人员主要使用64层螺旋CT对患者进行冠状动脉成像检测，通过分析图像特征，为后续治疗提供可靠保障[3]，本文将进行如下报道。

因为初始点集合中有很多误匹配点对，增加了求变换矩阵的复杂度。为此，本文采用RANSAC算法进行提纯。RANSAC算法中涵盖了很多异常数据信息，可以去除错误，得到良好的数据集合，为数据模型构建创设良好的基础，是实现数据算法效能发挥的有效方法。以拟定直线为例，选取两点实现直线的界定，处于误差范围内的点都是内点，其构成的直线数据集合中也有外点的存在。这样的随机选择之后，可以实现点集的拟合，这就是RANSAC算法的运行机制。实际情况可以分为以下步骤：

(3) 使用高斯函数对和IxIy进行高斯加权(取σ=1)，生成矩阵M的元素A、B和C。离散二维零均值高斯函数为：

M=G⊗

(2)

随着我国建设步伐的不断加快，对我国教育事业提出的要求也越来越高，教育事业的发展受到了国家和社会的高度关注。伴随着我国科教兴国的战略目标的提出及实施，国家在教育中投入的经费也越来越多，但是在这个过程中，在高校的经费投入上也逐渐暴露出一些问题，而这些问题很多都是由于高校没有完善的内部管理制度，在财务管理中缺少有效的财务风险管控机制，致使出现财务经费支出不合理等情况。因此，高校在财务工作当中应该逐渐加强对财务的风险管控，做好内部控制工作，不断促进高校的健康发展，推进科教兴国战略目标的完成。

基于共词分析法的基本原理，本研究中笔者运用中国医科大学医学信息学院开发的书目共现分析软件 [2] （Bibliographic Item Co-Occurrence Matrix Builder，Bicomb）提取文献数据集中的关键词，经数据清洗后，统计关键词频次。由于频次为1次的关键词在网络可视化中是孤立点，故在后续的网络分析中将其去除，只纳入频次2次及以上的关键词共69个，形成69*69的关键词共现矩阵，以供后续的网络可视化分析。

(4) 计算像素的Harris响应函数CRF，并对小于某一阈值的CRF置为零。

(3) 为了合理选取阈值，以图像分块和邻近角点为基础形成的方案，可以使得角点分布更加理想，不会出现集聚的情况。首先实现图像的合理化分块，对于各个区域中存在的角点进行界定，并且将其按照对应属性值进行排序，将其中CRF取值较大的角点界定为保留值，在此基础上实现对应模板和图像的处理，在实际操作的时候可能存在多个角点的情况，此时就需要保证选择最大角点，这样可以剔除邻近点，增加角点检测的正确率。

角点响应函数CRF定义为：

CRF=det(M)-K·Trace2(M)

(3)

 

 

式中：det是矩阵的行列式；Trace(M)为矩阵M的迹；K的值通常取0.04～0.06，为经验值。

(5) 在3×3或5×5的邻域内，需要采取对应的抑制措施，一般情况下，为非最大值抑制，在此步骤完成后就可以获取实际的图像角点。

2.2 改进的Harris角点检测算法

(1) 对于获得图像偏导数问题，可以利用梯度算子与图像作卷积来获得。为了使定位更精确，同时提高角点检测的敏感度，改变x方向的梯度算子，将(-1,0,1)改成(-2,-1,0,1,2)，并且y方向的算子变成x的转置。通过高斯滤波得到自相关矩阵。

Cyberflaneur：翻译为中文是网络闲逛族。Cyberflaneur是由cyber(网络的)与flaneur(爱闲荡的人)合成而来，指漫无目的、上网闲逛的人。

(2) 在角点检测阶段，CRF的参数k可以由经验分析和设定，所以这种方式有很大误差，甚至对最后的拼接结果有很大的影响。重新设定角点响应函数CRF为：

 

(4)

由3位MRI诊断医师分析所有MRI图像，结果不一致时经讨论达成一致，观察患者增强MRI图像特征，计算增强MRI在结直肠癌淋巴结转移诊断准确率。

说话时他们坐在罗衫的单身公寓里吃面，罗衫闻到此言，猛抬起头，表情惊异。一根面条抻得很长，挂在她的嘴角，不停地荡来荡去。

2.3 采用NCC方法进行特征点匹配

角点的检测是把两幅图像中的特征点相对应，在NCC算法的协助下来完成匹配任务。NCC算法的基本原理是：假设待搜索图像的尺寸是M×M，模板尺寸为N×N，

式中

在水泥水化放热过程中，放热速度与放热最高峰时释放出来的热量，会对水泥水化反应过程的进度产生重要的影响[2]。一般来讲，温度升高会促进水泥的水化反应，而水化反应的加快会进一步放出热量，这样会导致混凝土的内外温差大，最终因为热胀冷缩而产生裂缝。裂缝对混凝土强度和密实度的影响很大，并最终影响到工程的整体结构安全和使用功能。所以，控制水泥的水化速度至关重要。

其中M≫N，M、N代表图像像素。模板T在图像S上平移，搜索窗口所覆盖的子图为Si-j，(i,j)为子图的左上角定点在搜索图S中的坐标。通过相应函数计算子图与实时图的灰度相关值。对搜索图自上向下、自左向右遍历搜索，记录每一个子图位置的相关值，互相关值最大的子图位置标记为匹配位置，NCC算法可定义为：

 

(5)

2.4 RANSAC算法提纯及改进

(2) 计算图像两个方向梯度的乘积。

(1) 实现样本的获取，并得到4对对应的匹配点，进而通过计算得到相应的变换矩阵。在综合考量原本集、变换矩阵M和定容错度等因素之后，实现一致集的计算，明确实际一致集的数量。如果通过计算得到的一致集个数比之前得到的多，则说明当前数据是最优的。重置当前集合的元素个数。

(3) 当匹配点中存在较多误匹配时，RANSAC算法采样次数比较多，也就是说实际的工作量很大，这无疑会对程序反馈速度产生负面影响，此时就有必要采取对应措施去改善和调整。若图像中(pi,qi)和(pj,qj)是其中一组准确的配准，则pi和pj之间的距离d(pi,pj)与qi和qj之间的d(qi,qj)相同，可以通过点pi与pj的关系和点qi与qj的相似性来评价两点的对应关系，提出一个评价函数为：

(2) 对于实际错误的概率进行探究，如果大于实际的错误概率，那就需要在步骤(1)中实现迭代。决定迭代停止的终点为：找到概率小于最小错误概率的取值。

②如果截至2018年年末，未再发生其他转让金融产品业务，则应交税费——转让金融商品应交增值税存在借方余额，当年年末的账务处理为：

 

(6)

式中：pi和qi与每一对感兴趣点的平均距离是D(i,j)=[d(pi,pj)+d(qi,qj)]/2；r(i, j)=exp(-uij)；uij=|d(pi,pj)-d(qi,qj)|/D(i,j)是pi与qi与每组有价值点之间的差异。

式中ε=1×10-6为一个正数，而且它可以任意小，函数的响应机制不会受到参数k选取行为的影响，实用性比较大。

改进后算法的实现，总结如下：

(1) 分别求出W(i)的所有值和它的平均值；

(2) 比较所有W(i)的数值，若W(i)>0.8w，说明pi和qi是有效地匹配，记录数据点，若不满足上述关系就去掉这对点；

(3) 通过计算由步骤(2)获取初始迭代的点集，然后得到准确的对应矩阵。

2.5 图像的几何配准

找到两者之间的对应点，对于图像进行参考，实现几何变换矩阵H的参数设定，并且将其转入到统一标准化的坐标中。两幅图之间的对应关系可以通过式(7)表示：

 

(7)

式中H称为变换矩阵，H的参数求解过程同样是依靠RANSAC算法来实现。在本次变换矩阵中，自由度的数量为8个，利用4个对角点，可以计算出：

由表1中的模拟结果可以看出，桩59-X30井生产指标中的累积产油量和采收率都随着注水压力的增加而增加，随着注采比［2］的增加，地层平均压力不断增加，采出程度升高，但是含水率也不断升高。当注采比为0.92时，地层平均压力保持水平过低，模拟期内油藏脱气，采出程度相对较低；随着注采比的增加，虽然累积产油量和采出程度增加，但是增加幅度不高，而注入水量增加很大，所以不能单纯考虑采出程度。由图1模拟结果可以看出，油井见水时间随注水压力的增加而减少。综合各项指标，认为注采比为0.965方案为佳。此时对应的注水井井底压力为40MPa左右。

 

(8)

由此就可以得到线性方程组，采用一一对应归化的方法，可以将其对应到相应图像坐标格局中去。

3 图像融合

使用加权平滑算法来实现最终的图像拼接，具体实现过程为：设I1(x,y)和I2(x,y)代表两幅图像，它们都需要进入到拼接的过程，I1(x,y)代表经过融合的结果，其计算如式(9)所示：

 

(9)

式中：d1,d2代表的是权重值，它与重叠区域宽度之间存在关系；并且d1+d2=0，0<d1,d2<1。d1和d2的求解通过式(10)来完成：该点像素的横坐标为xi，xi和xr代表两图像交界的横坐标，所以

 

(10)

4 实验结果与分析

本文试验在Intel(R) Core(TM) i7-6700 CPU、6.0 GB内存的PC机上，通过软件Matlab R 2014a实现,图像处理结果如图2～图7所示。

  

 

图2 待拼接原图像(1)

 

Fig.2 Original spliced images(1)

 

 

图3 Harris角点检测结果

 

Fig.3 Harris point test results

  

 

图4 改进Harris角点检测结果

 

Fig.4 Improved Harris point test results

  

图5 图像拼接结果

 

Fig.5 Image stitch result

  

 

图6 拼接原图像(2)

 

Fig.6 Original spliced images(2)

 

 

图7 Harris角点检测结果

 

Fig.7 Harris point test results

  

 

图8 改进Harris角点检测结果

 

Fig.8 Improved Harris point test results

 

 

图9 图像拼接结果

 

Fig.9 Stitching result

由表1可以看出，本文算法总耗时减少，准确率明显提高。通过Matlab实验结果发现，用改进的Harris角点检测算法得到无缝拼接图像，通过与传统算法比较，本文算法不但使检测结果更精确，而且节省了计算时间，提高了算法的检测效率。

 

表1 SIFT算法、Harris算法以及改进Harris算法对图像的实验结果

 

Table 1 Experiment results of SIFT algorithm, Harris algorithm and improved Harris algorithm for image

  

类别实验1(图2)实验2(图6)SIFT总耗时(s)4.355.62准确率(%)70.772.4Harris总耗时(s)3.294.26准确率(%)72.877.6本文算法总耗时(s)3.183.94准确率(%)82.179.7

5 结 论

在研究图像拼接问题的时候，以特征点为基础，采用全自动手段，驱动无缝对接任务的完成。在操作过程中，Harris算法呈现出来的角点检测明显呈现出特征点的属性。在匹配和运算机制下，在一定程度上避免了错误匹配，继而发挥加权平滑算法技术的优势，使得图像的各方面属性达到一致。无论是光照，还是尺度，都能够达到相对理想的状态，并且有效地避免了k值和阈值的人为选择，取得了良好的实验结果。对于纹理和细节较多的图像，也取得了理想的结果，此算法符合实际的需求。

(2)植被条件：植被的分布类型与成土母质、海拔高度有关，且植被的分带严格受气候特点控制，根据茶叶的生长习性，喜散射光和漫射光。

参考文献：

[1] 张静, 袁振文, 张晓春, 等. 基于SIFT特征和误匹配逐次去除的图像拼接 [J]. 半导体光电, 2016, 37(1): 136-141.

[2] 马强, 项昭保, 黄良学, 等. 基于改进SIFT和RANSAC图像拼接算法研究 [J]. 计算机技术与发展, 2016, 26(4): 61-65.

[3] YAN L. Digital image mosaic technology based on improved genetic algorithm [J]. Journal of Multimedia, 2014, 9(3): 428-434.

[4] 王玉全. 基于全景视觉的移动机器人粒子滤波定位方法研究 [D]. 哈尔滨： 哈尔滨工程大学, 2009.

[5] 仇国庆, 冯汉青, 蒋天跃, 等. 一种改进的Harris角点图像拼接算法 [J]. 计算机科学, 2012, 39(11): 264-266.

[6] 周晟毅. 形状相似度算法研究及其在相似人脸匹配中的应用 [D]. 杭州： 浙江大学, 2007.

[7] TIAN F, SHI P. Image mosaic using ORB descriptor and improved blending algorithm [C]. International Congress on Image and Signal Processing. Dalian： IEEE, 2015: 693-698.

[8] CHEN Y, XN M, LIU H L, et al. An improved image mosaic based on canny edge an 18-dimensional descriptor [J]. Optik-International Journal for Light and Electron Optics, 2014, 124(17): 4745-4750.

[9] 滕舟. 基于多标签学习的图像区域语义自动标注算法研究 [D]. 上海： 复旦大学, 2011.

[10] 吴鹏, 徐洪玲, 李雯霖, 等. 基于区域检测的多尺度Harris角点检测算法 [J]. 哈尔滨工程大学学报, 2016, 37(7): 969-973.

[11] 张见双, 张红民, 罗永涛, 等. 一种改进的Harris角点检测的图像配准方法 [J]. 激光与红外, 2017, 47(2): 230-233.

[12] 许佳佳, 张叶, 张赫. 基于改进Harris-SIFT算子的快速图像配准算法 [J]. 电子测量与仪器学报, 2015, 29(1): 48-54.

[13] 刘江明, 姚素英, 史再峰, 等. 基于改进型随机抽样一致法的图像配准算法 [J]. 南开大学学报 (自然科学版), 2016， 49(1): 23-29.