基于分块H-SIFT算法的图像拼接技术研究

图像拼接技术在虚拟现实、医学图像分析、视频监控等领域中的应用越来越广泛,已成为数字图像处理领域的研究热点之一[1-3].图像拼接是将一组有部分重叠的图像进行匹配对准,再经过采样融合,形成一幅大型的包含整组图像的高清晰、宽视角的无缝高分辨率图像[4].图像拼接技术主要由图像配准技术与图像融合技术构成,其精度和效率主要取决于图像配准.图像配准是消除重叠区域图像之间的差异,并寻找一个最佳空间变换关系以实现图像间的对齐.图像融合是指通过某种融合算法将经过配准的图像组进行叠加,合成一幅包含整个图像组信息的高质量的新图像的过程.

根据新的坐标系统参数，固定B38A为唯一点，重新计算三个检核点坐标，根据检核点坐标反算边长，与实际边长进行对比，对比数据见表2。

现有的SIFT（scale-invariant feature transform）特征匹配算法常用于图像配准,但算法复杂度较高,导致匹配效率不高,在某些应用场合还可能提取不稳定的极值点导致误匹配.针对上述问题,本文提出了一种改进的分块H-SIFT（H：Harris）匹配算法.该算法在提取特征点前,对待拼接的相邻图像进行分块处理以提高效率；提取特征点时,利用SIFT算法的可扩展性,联合Harris算法提取特征点以提高精度；在进行图像融合时,针对传统加权平滑法易在重叠区域出现明显拼接缝的问题,结合图像梯度、散度计算确定拼接点,消除图像中存在的拼接缝.

1 SIFT特征匹配算法

SIFT特征匹配算法主要可以分解为4个步骤[5-6]：尺度空间极值检测、极值点精确定位、特征描述符生成、特征匹配.

1.1尺度空间极值检测

为了提高极值检测效率,在尺度空间上使用DoG（Difference of Gaussians）算子与图像进行卷积运算得高斯图像[7],通过相邻尺度的高斯图像相减构建高斯差分金字塔.函数表达式为

 

式（1）中：k 为常数,本文取

对待匹配图像 A、B进行 3 分块,得到子块 a1、a2、a3 和 b1、b2、b3.首先用 b1 块与 a1、a2、a3 块依此进行匹配,如果匹配成功,则结束匹配；如果匹配失败,则继续用b2、b3块继续匹配,直至成功匹配或所有子块都匹配完毕.

在高斯差分金字塔尺度空间的中间层上,每个像素点和与它同层的8个像素点及与其相邻的上下两层的各9个像素点,共26个相邻像素点进行比较[8],以判定该像素点是否为尺度空间和图像空间的局部极值点.

1.2极值点精确定位

由于DoG值对边缘和随机噪声十分敏感,检测到的极值点中存在伪极值点[9].通过对高斯差分图像进行三维二次函数拟合（见式（2））,能够精确定位极值点,同时可去除对比度较低的点；通过求Hession矩阵的迹与行列式的比值[10],并根据实际应用场合合理设定阈值进行筛选,可去除部分不稳定的极值点,以提高匹配准确率、增强抗干扰能力.

数学思想方法都是以一定的数学知识为基础,反过来又促进数学知识的深化以及向能力的转化．《普通高中数学课程标准》明确提出数学教学必须鼓励学生积极参与数学活动,不仅是行为上的参与,更要有思维上的参与．笔者认为,在高中数学的核心概念教学中,要引导学生体会和领悟数学思想方法中蕴含的数学的本质内涵和的重要规律．要通过各种方式激活思维,深化思维,不断地提高数学思维能力．这样才能逐步提高学生发现问题、分析问题和解决问题的能力,不断提高学生的思维品质和数学素养．

但从已有研究来看，由于资源与经费有限，很多高校在创新创业教育仍然停留在简单的课堂教育与日常讲座上，没有实质性的突破，即便拥有较多是师资的经管院系，也依旧没有充分挖掘教师资源，“填鸭式”的培养模式难以改观。即便各级教育部门在大力号召教育教学改革，但是实际运转起来，难度依旧不小。

 

1.3特征描述符生成

为了生成的特征描述符能够保持旋转不变,需要利用极值点邻域像素的总体梯度方向分布为其分配一个基准方向[11].极值点（x,y）处的梯度幅值和方向（相位）为

 

把坐标轴旋转为极值点的方向,并用8*8的窗口以极值点为中心取数据块,其中每一格均为所在尺度空间的一个像素点,箭头方向为梯度方向,箭头长度为梯度值.对梯度方向进行直方图绘制,将各梯度方向值进行累加,生成极值点描述符,如图1所示.

  

图1极值点描述符Fig.1 Extreme point descriptor

用I（x,y）表示待融合的两幅图像的重叠区域,I（x,y）在（x,y）的梯度定义为

1.4特征匹配

图像分块是先将待匹配图像进行划分,然后在得到的若干子块上进行特征提取.考虑到分块过多会造成计算量大且特征点匹配对分散,匹配效率低且易出现匹配失败,一般取3～5分块较为合适.

式（5）中：P、Q分别代表待匹配极值点的描述符.

 

本文对生态视角下，我国村镇规划与发展的现状及其存在的问题进行了简要的分析，并提出了几点建议。增强我国村镇的生态性、传统性、特色性是我国存储规划发展的主要方向，既要注重经济发展也要实现环境保护，建设具有现代化特色的社会主义村镇，形成独有的发展特色。

根据使用场合合理设定阈值,只要两个极值点间的距离小于阈值,则可判定两个极值点相匹配.特征匹配完成后,图像间的变化关系就得到了唯一确定,可进行下一步图像融合.

2 分块H-SIFT特征匹配算法

SIFT特征匹配算法存在的不足主要表现在两方面：一是SIFT匹配时间较长和匹配范围广；二是由于灰度相关值较高而存在不应匹配的点（不稳定的极值点）.针对这两点不足之处,本文提出了一种改进的分块H-SIFT特征匹配算法,对待拼接图像进行分块缩小匹配范围以提高匹配效率,联合Harris算法筛选极值点,减少极值点的数量,从而提高极值点匹配的准确率和速度.算法流程见图2.

  

图2分块H-SIFT特征匹配算法流程Fig.2 Flow chart of block H-SIFTfeaturematchingalgorithm

2.1分块匹配

正确的特征点匹配对分布十分集中,一般仅存在于待拼接图像间的重叠区域内,没有重叠的区域为无效区域,一般应不存在正确的匹配对.一般SIFT算法会对整幅图像进行特征提取,会在无效区域内浪费大量的计算时间,降低配准效率.因此在进行特征提取前,可先对图像进行分块[13].

以待匹配极值点之间的欧氏距离作为极值点匹配的相似度准则,任意极值点间欧式距离计算为

2）生产过程控制：在生产过程中随时检查原材料是否按招标要求选用、是否同一批号、生产时机械热熔原材料的温度是否达标、成品是否符合澳新标准（技术参数见表1）。

  

图3待匹配图像分块Fig.3 Matchingimagesblocked

2.2 H-SIFT算法

SIFT的特征描述符由特征向量来表征,特征向量实际上是梯度信息的数值化,所以梯度变化越大,特征点的特征就越显著,成功匹配的概率也越高.由于Harris角点邻域内的像素具有明显的梯度变化,联合Harris算法可以对提取到的极值点进行筛选,保留稳定的极值点.不但增强了极值点的提取精度,还将提高极值点的匹配效率.

式（6）中：Ix、Iy分别表示像素点（x,y）在x、y方向上的梯度.I（x,y）在（x,y）处的最大变化方向就是梯度向量的方向,值为

3 基于梯度、散度的图像融合

梯度和散度可以反映出图像灰度的变化.梯度反映了图像灰度变化的速度,梯度值大则灰度变化快,梯度值小则灰度变化慢.散度反映了图像灰度变化大小和变化方向的分散程度[14].

中国企业研发投入过去10年增长迅速，2016年达到618亿欧元，同比增长18.8%，虽然较2015年的24.7%有所回落，但增速依然全球第一。美国和欧盟企业研发投入继续显著增长，增速分别为7.2%和7%，已接近2008年金融危机前的水平，日本企业研发投入则出现3%的负增长。

在极值点尺度空间内4*4的窗口中计算8个方向的梯度信息,共4*4*8=128维向量来表征特征描述符,即将特征向量进行归一化处理,进一步去除光照变化的影响[12].

 

实际操作中,对待匹配图像进行尺度空间极值检测和极值点精确定位后,在极值点邻域内进行Harris角点检测.将检测到有明显角点的极值点保留,舍弃没有明显角点的极值点.

迁移操作包括迁入和迁出，每个栖息地都有其对应的迁入率λ和迁出率μ，以判断是否被选为迁入栖息地或迁出栖息地。原始迁移操作的迁入率、迁出率由线性迁移率模型确定，马海平等[12]提出一种如图4所示的余弦迁移率模型，为次优栖息地提供更高的迁出率，为较差栖息地提供更高的迁入率，提高了优秀栖息地向较差栖息地共享信息的能力。

 

I

（x,y）在（x,y）处的散度定义为

 

在待融合图像的重叠区域的中间位置计算邻域内像素的梯度和,梯度和最小的点即为拼接线的第一个点.确定起始位置后,同时向上、下两个方向,寻找梯度和最小的像素点作为该行的拼接点.

使用上述梯度和最小点作为拼接点的方法,容易出现两个问题：一是可能存在多个点的梯度值之和相等且最小；二是由于图像中存在噪声,容易误选中噪声点,影响图像融合效果.因此,在比较梯度和之后,还要比较该点的散度值,当梯度和与散度和均相等时,确定拼接点.当所有拼接点均确定后,连接起来可以形成拼接线,最后再使用线性加权平滑法消除拼接缝.

4 图像拼接实验及结果分析

对手机拍摄到的有重叠区域的图像A和B（见图4）,分别使用传统SIFT特征匹配算法、加权平滑法和改进的分块H-SIFT特征匹配算法、基于梯度和散度的线性加权平滑法进行拼接,拼接效果见图5.

目前，巷道镇蔬菜在生产、服务、加工、销售等各环节尚没有形成连贯的产业链，产销难衔接，服务不到位，产业化程度低，致使菜贱伤农现象时有发生。

  

图4待拼接图像Fig.4 Matchingimages

  

图5采用传统算法及新算法获得的目标图像Fig.5 Target images processingby the traditional algorithmand the newalgorithm

比较拼接过程和拼接效果可以发现,通过在配准前先进行图像分块处理,大大缩小了匹配范围,提高了匹配的效率；使用H-SIFT特征匹配算法对极值点进行筛选,提高了极值点匹配的准确率；在进行图像融合时,结合了梯度、散度计算,找到了最佳的图像拼接线,目标图像没有明显的拼接缝,基本实现了无缝拼接.

参考文献：

[1]吴金津.改进的SIFT算法及其在图像拼接中的应用[D].株洲：湖南工业大学,2015.

[2]孙文华.面向单视频超分辨率重建的改进的SIFT配准算法[J].河北科技师范学院学报,2015,29（3）：74-79.

[3]李晓飞,李鹏飞.基于SIFT的伪造图像盲检测算法[J].长春大学学报,2014,24（10）：1354-1357.

[4]余美晨,孙玉秋,王超.基于拉普拉斯金字塔的图像融合算法研究[J].长江大学学报（自科版）,2016,13（34）：21-26.

[5]李校林,李银,王志峰.基于SIFT算法在遥感图像匹配中的研究[J].电视技术,2016（9）：108-111.

[6]袁荣庆,谢劲松.SIFT算法研究内容概述[J].长春大学学报,2014,24（6）：728-730.

[7]芮挺,张升奡,周遊,等.具有 SIFT 描述的 Harris角点多源图像配准[J].光电工程,2012,39（8）：26-31.

[8]焦丽龙.基于特征的图像拼接融合技术的研究与实现[D].太原：中北大学,2014.

[9]袁杰.基于SIFT的图像配准与拼接研究[D].南京：南京理工大学,2013.

[10]杜京义,胡益民,刘宇程.基于区域分块的SIFT图像匹配技术研究与实现[J].光电工程,2013,40（8）：52-58.

[11]吴翠先,李秋锋.基于Contourlet的改进梯度多聚焦图像融合[J].数字技术与应用,2014（10）：49-50.

[12]郑胜,田岩,柳健,等.基于散度的不同焦点图像融合方法[J].华中科技大学学报（自然科学版）,2007,35（4）：7-10.

[13]栾广宇,黄操军,陈争光,等.针对SIFT及其变体的图像匹配性能比较[J].黑龙江八一农垦大学学报,2017,29（5）：106-110.

[14]杨艳伟.基于SIFT特征点的图像拼接技术研究[D].西安：西安电子科技大学,2009.