基于置信值重构的视觉目标跟踪算法

视觉目标跟踪是计算机视觉领域的一项重要研究课题,该技术主要利用视频序列来估计运动目标的状态,在生产和生活中有许多重要应用,如人机交互、运动分析以及无人机技术等[1]。近10年来,研究者提出了许多跟踪算法来克服视觉跟踪中存在的各种问题,但是,包括目标表观变化、运动遮挡、运动模糊以及光照变化等在内的许多问题依旧影响视觉目标跟踪的效果。

在视觉跟踪中,遮挡和目标表观变化是影响跟踪效果的两个主要因素。通常解决的方案有两种:一是提取与目标结构无关的特征,如颜色特征;二是对目标进行局部分块。颜色特征是一种比较简单的特征,经常被用于跟踪算法中,如文献[2]提出的基于颜色特征的目标跟踪算法,通过提取目标的颜色特征构建目标的表观特征模型,并在跟踪的过程中利用颜色特征来比较候选目标与目标模型之间的相似程度,从而确定跟踪结果,该算法在简单环境下可以取得较好的跟踪效果。文献[3]提出的结合目标梯度特征与颜色特征的跟踪算法,通过提取目标的梯度特征,并利用相关滤波算法获得一个关于目标位置的置信值,同时利用颜色特征获得另一个关于目标位置的置信值,通过两个置信值的叠加获得目标的准确位置。基于局部分块的跟踪方法将整体跟踪转化为局部跟踪。在跟踪过程中,对目标进行局部分块,当目标出现遮挡或者表观变化时,仍能有部分分块被跟踪到,从而实现对目标的正确跟踪。如文献[4]提出了基于超像素的跟踪算法,首先对目标提取超像素特征,并按照超像素特征对目标进行非规则局部分块构成超像素特征集合,利用K近邻(K-Nearest neighbor,KNN)算法从超像素特征集合中学习得到目标的判别式表观模型。文献[5]提出的基于局部分块的相关滤波跟踪算法,通过对目标进行随机局部分块,并利用核相关滤波跟踪算法对每个分块进行跟踪,最后通过置信图叠加方式获得目标的准确位置。文献[6]通过连续多帧分块构建联合分块字典,在新的一帧中利用粒子滤波算法采样候选目标,并通过联合分块字典以及稀疏匹配方法完成目标的匹配。文献[7]通过对目标进行均匀局部分块,利用贝叶斯理论完成目标跟踪,并通过特征聚类更新模型。文献[8]提出的快速傅里叶变换的局部分块跟踪算法,利用核相关滤波算法对每个局部分块进行跟踪,并通过各个分块所在位置求解目标位置,实现了目标的快速跟踪。基于颜色特征的跟踪算法实现起来比较简单,但容易受颜色相近物体的干扰。基于局部分块的跟踪算法相对来说更加鲁棒,它提高了算法对遮挡以及目标表观变化的适应性。但是,现有的局部分块跟踪算法对目标的判别能力有限,在出现较严重遮挡、表观变化或者环境复杂时,它们的跟踪效果将会下降。

受局部分块方法的启发,本文提出一种基于置信值重构的视觉目标跟踪算法。该算法利用局部分块原理对模板以及候选目标进行有重叠的局部分块,并结合概率协同表示分类算法获得局部分块的分类概率,利用同一候选目标的局部分块分类概率重构候选目标的置信值,最终通过候选目标的置信值选择最佳候选目标。

1 概率协同表示分类算法

概率协同表示分类算法[9](Probabilistic collaborative representation based classifier,ProCRC)是一种模式分类算法,该算法通过计算候选样本在各类别上的概率分布情况获得最佳分类结果。

2007年水利部党组首次提出民生水利。6年来，对民生水利的认识不断加深，发展民生水利的实践不断丰富，取得的成效十分显著。民生水利得到了党中央、国务院的高度认可和全社会的一致认同。党的十八大强调保障和改善民生，把水利摆在生态文明建设的突出位置，赋予新的内涵、新的使命。民生水利以其民生至上的价值取向、民利共享的实践魅力，成为引领水利跨越发展的重要理念。在为全面建成小康社会努力奋斗的重要时期，有必要对民生水利进行回顾思考，在新的起点上探讨推进民生水利深入发展。

对静态模板库与动态模板库进行有重叠的局部分块操作,如图2所示,并将所有模板的局部分块合在一块构成模板字典其中表示模板ti的第j个分块,N为分块数目。字典D中具有相同下标的分块来自于各个模板的相同位置。这样,根据字典D中的不同下标就可以将目标模板分成N个类别。将字典D中的各个分块重新组合得到目标模板的分类字典,={X1,X2,…,XN},其中对于背景模板库Tb,其中的模板大小与上述的局部分块大小相同,模板数目为nN个,并将其作为背景类添加入分类字典构成完备分类字典集,即={X1,X2,…,XN,XN+1}。

 

(1)

式中:l(x)表示对数据点x的标记,λ为一常数。

对于任意一点y,存在

儿童诗教学比较灵活，有规律可循。在初读时可集中识字，与情境紧密相关的生字，可以在具体的语境中分散识字。这样既保证了儿童诗情境的整体性，又能激发学生自主识字的能动性。如《田家四季歌》中，生字“肥”就是在体会桑叶长得好、养分多的时候随文识写，各种农活（播种、插秧、耕田、采桑、除草、施肥、割麦、插秧）则在朗读过程中不断再现和强化。

如图4所示,分别给出了5种算法在4个视频序列上的跟踪结果。

再来观察遮挡物的位置对阴影形成的影响。在图9 中，面光源在遮挡物的影响下，在物体表面形成的阴影大小为△S。而在图10 中，在其他条件不变的情况下，将遮挡物向更靠近物体表面的方向移动一定距离，形成的阴影大小变为了△S’。对比两幅图，可以明显看出△S>△S’。由此可得：在其他条件保持不变的情况下，当遮挡物与被照射物体之间的距离越小时，面光源在遮挡物的影响下在物体表面形成的阴影面积就越小（即半影的面积越小），半影的面积越小说明物体被遮挡得越严密，相应地，遮挡系数就应该越大。因此，遮挡系数和遮挡物与被照射物体之间的距离成反相关。

P(l(x)∈LG)

(2)

式中:P(l(y)=l(x)|l(x)∈LG)表示在l(x)∈LG的条件下y与x属于同一类的概率,其值正比与(β为一常数)。结合式(1)、(2)得

 

(3)

为了得到y的具体分类,引入条件概率P(l(x)=li|l(x)∈LG),则有

P(l(y)=li)=P(l(y)=l(x)|l(x)=li)·

保证鸡群都能定期喂料、饮水等，这些工作间隔的时间不能过长，避免鸡感受到饥渴感，最好为鸡提供充足的料槽和水槽等，使用的比例为1∶1，如果为1 000只鸡，准备的水槽和料槽最好各10个。鸡舍内要保证充足通风，保证有害气体的排出；光照也要充足，夏季时，一定要避免强光直接照射鸡舍。此外，还要保证垫料的充足性，保证饲料密度适宜，夏天少、冬天多，最好为每平方米5～10只。如果为不同类型的鸡，要禁止混合养殖。夏季时，要加强防暑和降温工作；冬季时，在鸡舍内喷水，确保鸡舍内的湿度适宜。针对产蛋鸡，也要为其提供充足的产蛋箱，增加捡蛋的次数，发现破壳蛋要及时挑出。

P(l(x)=li|l(x)∈LG)·P(l(x)∈LG)

(4)

因为对于训练集子空间中的任意一点x都属于LG,所以P(l(y)=l(x)|l(x)=li)=P(l(y)=l(x)|l(x)∈LG)。最终y的分类概率为

P(l(y)=li)=P(l(y)∈LG)·P(l(x)=

父亲说：“小锦，不是爸不支持你，你先康复锻炼，不用急着赚钱。我暂时还回不去，这树坑挖一多半了，明年一开春就可以种树，哪能半途而废……”

通过最大化式(7)得到一个系数向量α,但是此时的α仅表示在类别Xj上使式(7)取得了最大值,在其他类别上并不一定是最大值,因此将式(7)中的改为即求解联合概率条件下的最大值,获得系数向量α

(5)

结合式(3)与(γ为一常数)可以得到

 

 

(6)

最终分类结果为

2 本文算法

为了克服跟踪过程中的遮挡问题,本文通过局部分块操作对候选目标的置信值进行重构,以进一步提高对目标的判别能力,获得最佳跟踪结果。

2.1 模板库构建

本文中的模板库分为目标模板库和背景模板库两部分。目标模板库又分为静态模板库和动态模板库,其中静态模板库是在每个视频的前n(n≤10)帧中提取的目标图像块,由于在视频开始的前几帧中通常不会出现较大的表观变化或者严重的遮挡,因此能够提取到较完整的目标图像,将这些图像块作为模板可以很好地描述目标的静态特性。在前n帧视频中,本文通过KNN聚类方法来提取目标图像块,并通过仿射变换将图像块归一化为模板大小;动态模板库与静态模板库中的模板数目相同,动态模板库用来描述目标的动态特性,因此需要在跟踪过程中进行实时更新;背景模板库则是在前一帧目标区域外围(如图1中虚线与实线之间的背景区域)提取的背景图像块,其大小和数目与前两个模板库不同,下文将详细介绍。

独立设课后的实验教学，必须以特色突出、科学规范、可操作性强、吸引力强的实验教学教科书为基本保障。在内容和篇章结构上应主要由“导论篇”和“指导篇”两部分构成。

2.2 分类字典库构建

给定分类集G=(X1,…,XK)(Xi表示第i个分类集,其中包含该类别的训练数据集)以及对应的标签LG=(l1,l2,…,lk)。对于训练集子空间中的任意一点x,可以通过分类集的线性组合得到,即x=Gα,其中α是一个系数向量,可以用来表征x在分类集空间中的概率

  

图1 背景模板采集区域示意

  

图2 局部分块示意图

2.3 重构候选目标置信值

对候选目标y按照上述方法进行局部分块,获得相同大小的局部分块集合Y=(py1,py2,…,pyN),pyi表示第i个分块。

对于局部分块集中的任意一个分块pyi,利用概率协同表示分类算法,可以得到pyi∈Xj的概率

观察两组患者检查结果,包括通过各项指标判断其诊断率,子宫外盆腔,观察其混合性肿块、胚芽及原始心管搏动情况。观察子宫内膜增厚及宫腔内情况。同时观察两组患者阳性率情况。

 

 

(7)

li|l(x)∈LG)

在求得α后,利用式(7)可以得到局部分块pyi在各个类别的概率。但由于式(7)中的对所有类别都相同,因此pyi在类别Xj的概率也可以表示为

 

 

(8)

因为MapReduce主要应用于推进大数据进行线下批处理，在面对一些问题时会存在较强的不适应，诸如在面向低延迟以及具有相对复杂数据关系、相对复杂运算的大数据问题时就会存在这样的状况。所以，近年来对大数据的计算模式进行深入的研究，推出了很多该领域新的研究成果。

PXj(pyi)=P(l(pyi)∈l(Xj))=

 

(9)

对于候选目标y中的每个局部分块,都可以得到N+1个分类概率P(pyi)={PX1(pyi),PX2(pyi),…,PXN+1(pyi)},其中PXN+1(pyi)表示分块pyi为背景时的概率。则候选目标在目标模板上的分类置信值为

 

(10)

获取候选目标置信值的流程如图3所示。

2.4 跟踪流程

在跟踪的过程中,通过粒子滤波算法获得候选目标集Y=(y1,y2,…,ym),其中m表示粒子个

在新闻摄影中，应突出照片及摄影作品中的新闻主体性，让观众第一眼就可了解到摄影作品内涵，充分发挥出新闻摄影在补充新闻信息中的积极作用。不仅如此，相关摄影人员在实际摄影中需清晰表达出新闻整体色彩，明确新闻主体内容，选择摄影作品相对应的色彩及内容，以更好地突出摄影图片层次感，使摄影作品具有高度的艺术性。

数,yi表示第i个候选目标。利用式(10)获得每个候选目标的重构置信值C(yi),则置信值最大的一个候选目标将作为当前帧的跟踪结果

Target=max(C(yi))

(11)

式中:Target表示最终跟踪结果。对于动态模板的更新,本文选用文献[10]提出的增量主成份分析法(Principal component analysis,PCA)算法,整个算法流程如表1所示。

  

图3 候选目标重构置信值流程

 

表1 算法流程

  

初始化：根据前n帧跟踪结果获得静态模板TS，并令动态模板Td=TS，根据第n帧跟踪结果采样背景模板Tb。当帧数f>n时：i．对静态模板TS、动态模板Td进行局部分块，并结合背景模板组成分类集；ii．利用粒子滤波算法采样m个候选目标，得到候选目标集Y；iii．对每个候选目标进行局部分块，利用式(10)得到每个候选目标的置信值C(y)；iv．根据候选目标的置信值，利用式(11)获得跟踪结果Target；v．依照上文中提到的方法，在跟踪结果Target附近的环形区域内采样背景模板，并更新背景模板Tb；vi．利用增量PCA算法更新动态模板Td。

3 实验分析

实验仿真中,根据经验以及实验数据,将粒子个数m定为600,静态模板和动态模板中模板的个数n定为10,模板大小定为32×32,对每个模板以8个像素为步长,重叠采样9个分块,即N=9,分块大小为16×16。式(9)中的γ=0.001,λ=0.1。采样背景模板的环形区域的范围μ=max(w/2,h/2),σ=2μ,其中w和h分别为目标的宽和高。为验证本文算法的有效性,将本文算法分别与增量视觉跟踪(Incremental visual tracking,IVT)[10]算法、基于加速近端梯度方法的L1稀疏跟踪(L1 Tracker,L1APG)[11]算法、视觉跟踪分解(Visual tracking decomposition,VTD)[12]算法和基于稀疏性协同模型(Sparsity-based collaborative model,SCM)[13]的目标跟踪算法进行比较。实验视频序列为CarDark、FaceOcc2、David以及woman-sequence。实验视频序列与比较算法均来自于文献[14]。虽然本文算法存在解析解,但是由于需要进行分块操作,导致计算量增大,因此跟踪速度有所下降。在Win7系统、Matlab2013,i5处理器以及8 G内存的实验环境下,平均跟踪速度为10.4帧/秒。

3.1 定性分析

P(l(y)∈LG)=P(l(y)=l(x)|l(x)∈LG)·

学校是办教育的地方，教育的目的在于使人向善。培英教育有着137年的深厚历史，“爱”是“信”“望”的前提和基础，又是达成“信”“望”的途径，更是培英人热爱教育、热爱学校、热爱学生、热爱万物的情怀所在。

由图4(a)可见,CarDark视频序列的特点是存在较为严重的光照变化,并且背景比较复杂。从图4中可以看到,在第205帧之前,背景比较简单,没有很强的光照变化,5种算法都能很好地对视频中的汽车进行跟踪;随着光照强度变大,背景开始变得复杂,可以看到在第257帧,IVT算法、L1APG算法以及VTD算法出现对目标尺度的估计不准确,并向一边飘移,本文算法与SCM算法则正常跟踪;当跟踪到298帧时,IVT算法、L1APG算法和VTD算法已经完全跟踪失败,最终只有本文算法以及SCM算法仍能对目标进行正常跟踪。

由图4(b)可见,David视频序列的特点是目标尺度的变化与旋转变化。在前77帧内,由于目标发生一定程度的旋转,VTD算法开始出现飘移,而其他4种算法则能实现对视频中人脸的正常跟踪;在114帧到174帧之间,由于目标进一步旋转,可以看到L1APG算法出现严重飘移,VTD算法与SCM算法也出现不同程度的飘移现象,而本文算法与IVT算法能够正常跟踪;随后,在第220帧时,目标转回初始状态,可以看到,SCM算法与L1APG算法出现较大飘移,VTD有一定的飘移,IVT算法虽然正常跟踪,但是对目标尺度估计不准确,本文算法由于存在静态模板,不但实现了对目标的正常跟踪,还正确估计了目标的尺度。

由图4(c)可见,FaceOcc2视频序列存在大量的旋转与遮挡情况,在出现较小遮挡情况时,如188帧,5种算法都能正常跟踪;在第388帧时,由于目标发生旋转,SCM算法、L1APG算法以及IVT算法就出现了飘移,VTD算法与本文算法仍能正常跟踪,但本文算法还能正确估计目标的旋转状态;在533帧时,VTD算法也出现了飘移现象;在第704帧时,由于目标出现严重遮挡,IVT算法与L1APG算法出现飘移,本文算法与其他两种算法可正常跟踪。

  

图4 5种算法跟踪结果比较

由图4(d)可见,Woman-sequence视频序列的特点是存在部分遮挡。在100帧之前,由于没有遮挡,5种算法都能对目标正确跟踪,如第98帧;随后由于车子的遮挡,L1APG算法、IVT算法以及VTD算法跟踪失败;在第294帧时,L1APG算法、IVT算法与VTD算法依旧跟踪失败,SCM算法虽然实现了对目标的正常跟踪,但是对目标尺度估计不正确,而本文算法则能够正确估计目标尺度,并跟踪到视频结束。

由实验仿真结果可以看到,其他4种方法在出现遮挡、光照变化或者复杂背景时都出现不同程度的跟踪飘移甚至跟踪失败现象,而本文算法都能够正常进行跟踪,验证了本文算法的优越性。

3.2 定量分析

定量分析实验中,本文采用平均中心误差(Average center location error,ACLE)作为算法性能评估标准。平均中心误差是算法跟踪得到的目标中心位置与实际目标中心位置之间的平均欧式距离。平均中心误差如表2所示。图5是目标中心位置误差曲线。

从表2中的平均中心误差以及图5中目标中心位置误差可以看出,本文算法相比于其他4种算法具有一定的优越性。

 

表2 平均中心误差 像素

  

视频序列IVTL1APGVTDSCM本文算法CarDark21．6123．3823．292．852．62David5．8261．5415．589．665．47FaceOcc215．8911．3910．6911．143．82woman⁃sequence180．13130．81119．024．383．03

  

图5 目标中心位置误差

4 结束语

为解决视觉运动目标跟踪过程中出现的遮挡以及表观变化问题,本文提出了一种基于目标置信值重构的跟踪算法。利用局部分块策略解决遮挡以及表观变化问题的优势,结合概率协同表示算法,重构了候选目标置信值,实现了对运动目标的鲁棒跟踪。同时,为提高算法对目标的辨别能力,引入了静态、动态模板以及背景模板。实验结果表明,本文算法具有较好的跟踪效果,并在有遮挡和目标表观变化的视频序列中表现良好。

参考文献:

[1]Li X,Hu W,Shen C,et al. A survey of appearance models in visual object tracking[J]. ACM Transactions on Intelligent Systems & Technology,2013,4(4):478-488.

[2] Possegger H,Mauthner T,Bischof H. In defense of color-based model-free tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston,US:IEEE,2015:2113-2120.

[3] Bertinetto L,Valmadre J,Golodetz S,et al. Staple:Complementary learners for real-time tracking[J]. Computer Science,2015,38(2):311-323.

[4] 王暐,王春平,付强,等. 实时超像素跟踪算法[J]. 电子与信息学报,2016,38(3):571-577.

Wang Wei,Wang Chunping,Fu Qiang,et al. Real-time superpixels based tracking method[J]. Journal of Electronics and Information Technology,2016,38(3):571-577.

[5] Liu T,Wang G,Yang Q. Real-time part-based visual tracking via adaptive correlation filters[C]//Proceedings of the IEEE Conference on Computer Vision & Pattern Recognition. Boston,US:IEEE,2015:4902-4912.

[6] Zarezade A,Rabiee H R,Soltanifarani A,et al. Patchwise joint sparse tracking with occlusion detection[J]. IEEE Transactions on Image Processin,2014,23(10):4496-510.

[7] 余旺盛,田孝华,侯志强,等. 基于局部分块学习的在线视觉跟踪[J]. 电子学报,2015,43(1):74-78.

Yu Wangsheng,Tian Xiaohua,Hou Zhiqiang,et al. Online visual tracking based on local patch learning[J]. Chinese Journal of Electronics,2015,43(1):74-78.

[8] 侯志强,张浪,余旺盛,等. 基于快速傅里叶变换的局部分块视觉跟踪算法[J]. 电子与信息学报,2015,37(10):2397-2404.

Hou Zhiqiang,Zhang Lang,Yu Wangsheng,et al. Local patch tracking algorithm based on fast Fourier transform[J]. Journal of Electronics and Information Technology,2015,37(10):2397-2404.

[9] Cai S,Zhang L,Zuo W,et al. A probabilistic collaborative representation based approach for pattern classification[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2016). Seattle,US:IEEE,2016:2950-2959.

[10] Jing L. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision,2008,77(1-3):125-141.

[11] Bao C,Wu Y,Ling H,et al. Real time robust L1 tracker using accelerated proximal gradient approach[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2012. Providence,US:IEEE,2012:1830-1837.

[12] Kwon J,Lee K M. Visual tracking decomposition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2010. San Francisco,US:IEEE,2010:1269-1276.

[13] Zhong W,Lu H,Yang M H. Robust object tracking via sparsity-based collaborative model[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2012. Providence,US:IEEE,2012:1838-1845.

[14] Wu Y,Lim J,Yang M H. Online object tracking:A benchmark[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2013. Portland,US:IEEE,2013:2411-2418.