支持向量回归在圆形检测中的应用

圆检测是机器视觉中一项基础性的研究任务，在工业制造、交通检测、虹膜识别、生物医药等领域都有着广泛的应用[1]。实际场景中，由于光线、图像采集、遮挡等多种因素的影响，待检测的目标经常出现变异的情况，比如椭圆、空心圆、边缘断续、多圆粘连等，也就是说在复杂背景下的圆检测依然是一件挑战性的工作[2-4]。

我没有阿瓦达索命咒那般“疯狂”，不会像它那样不分对象地攻击人类，我的目标基本设在二年级，小学二年级、初中二年级、高中二年级都是我的“搜索范围”。

目前，圆形霍夫变换(circular Hough transform，CHT)[5]是最常用的圆形识别算法，但是该方法采用一到多的映射计算量庞大，在复杂背景下识别的准确率并不高。为了克服CHT的问题，多年来研究者提出一些替代和改进的算法，如：圆度检测算法[6]、随机Hough变换(RHT)[7]、广义Hough变换等[8]。但是这些算法需要获得圆形的边界信息，以确定圆的位置，见图1、图2，这种噪声比较大甚至边缘出现了断续的情况，边界信息是不易得到的，这就让其实际应用受到了限制。

  

图1 源图像1Fig.1 Source image 1

  

图2 源图像2Fig.2 Source image 2

考虑到支持向量回归在图像识别、自然语言处理、信息检索等领域的发展及应用中起着重要的作用[9-10]，本文拟使用支持向量回归模型，通过对圆形样本的训练，构建一个宽度为2ε的近似圆环的间隔带，落入此间隔带的样本点则认为是属于圆形边界上的点，最后对间隔带内的点运用三点拟合圆几何算法确定圆心和半径。实验结果表明该方法具有很好的鲁棒性和精确度。

1 相关算法

1.1 支持向量回归基本原理

支持向量机(support vector machine, SVM)是20世纪90年代中期发展起来的基于统计学习理论的一种机器学习方法[11]，该方法具有泛化能力强、在小样本的情况下也能取得良好训练效果的优点，近年来已成功应用于很多领域，比如文字识别、语音处理、人脸检测等。将SVM用于解决回归预测时便有了支持向量回归(support vector regression，SVR)[12]，SVR回归，就是找到一个回归平面，让一个集合的所有数据到该平面的距离最近，其思想如下：给定训练样本D={(x1,y1),(x2,y2)，…，(xi,yi),…,(xm, ym)}，其中每个样本点由实例与标记组成，实例xi∈X标记yi∈R，X是实例空间，R是输入空间。希望学得一个类似图3的回归函数线性模型：

f(x)=ωTx+b,

(1)

使得f(x)与实际值y尽可能接近，ω和b是待求解的参数。但是这样得到的SVR泛化能力还很弱，只能处理线性的情况，而检测圆形是一种非线性问题。SVR的做法是选择一个核函数Kernel，通过映射函数Φ将输入数据映射到高维空间，在高维特征空间中构造出最优分离超平面f(x)，以超平面f(x)为中心线，构建一个宽度为2ε的间隔带，在此间隔带中的训练样本都是被认为分类正确的。也就是说允许f(x)与实际值y之间有ε的偏差，即当f(x)与y差值的绝对值大于ε时才计算损失，从而解决在原始空间中线性不可分的问题(见图4)。通过引入核函数Kernel映射之后，需要学习的回归模型变为

f(x)=ωTΦ(x)+b,

(2)

综合以上分析，本文选定高斯径向基核(RBF)作为支持向量回归模型与三点拟合圆联合算法的核函数。

 

(3)

其中C为正则化常数，lε是不敏感损失函数,

 

(4)

  

图3 支持向量回归示意图Fig.3 SVR diagram

  

图4 分割超平面示意图Fig.4 Partition hyperplane diagram

令参数的偏导都等于零，可得L(ω,b,ξi,ξ*,λ,λ*,γ,γ*)的最小值，

 

(5)

通过引入拉格朗日乘子建立拉格朗日函数

L(ω,b,ξi,ξ*,λ,λ*,γ,γ*)=

(6)

为了包容一些异常样本点，引入松弛变量ξi和将式(3)重写为

 

(10)

三点拟合圆是求解圆心和半径的几何算法，该算法随机取属于圆形上非共线的3点以确定圆的位置[2]。圆的方程如式(14)所示：

 

(11)

由此，支持向量机的回归问题转换成了二次优化问题，求解出式(9)的二次优化问题，得到数据点表示的ω：

1.1.1 试验地概况 2014年5月和8月，分别在甘肃省武威市凉州区黄羊镇牧草试验站、白银市会宁县会师镇牧草试验基地和甘肃农业大学兰州牧草试验站进行采样。样地基本概况见表1。

 

式中γi和是最小化式(2)的解，将式(12)代入式(2)可求得支持向量机线性回归函数

 

(13)

相对定位主要依靠内部传感器，包括里程计(odometry)、陀螺仪等。通过测量相对于机器人初始位姿的平面距离和转动方向，从而估计机器人位置。该方法计算量小 [3]，但有累加特性。

1.2 三点拟合圆算法

将式(5)—式(8)代入式(4)，即可得到SVR的对偶优化问题

x2+y2+2ax+2by+c=0。

(14)

于是方程(14)可以重新写为(x+a)2+(y+b)2=a2+b2-c，于是可以得到圆心(x0,y0)和半径r分别为(-a,-b)和(a2+b2-c)1/2。

 

(15)

运用Cramer法则解此方程组，得到参数a，b，c：

2.过度进行商品包装是对社会资源的浪费，一些不可分解的材料影响了整个环境。这明显不符合生态经济的环保要求，过度的包装物浪费了各种资源，甚至成为一种垃圾。从社会资源应用的角度看，商品过度包装是一种绝对意义上的浪费行为。

 

(16)

式中:

兵团工会五大的胜利召开，是在中国特色社会主义进入新时代、兵团全面深化改革开启新征程、兵团工会事业迈上新起点的关键时期召开的一次重要会议。新时代是奋斗者的时代。兵团进入新时代、踏上新征程，我们要始终不忘工会的初心和使命，传承红色基因、发扬优良传统，在兵团党委和上级工会的坚强领导下，把各族职工群众团结凝聚在党的旗帜下，不断筑牢党执政的阶级基础和群众基础。

 

 

假设选取支持向量机线性回归函数上的3点为(x1，y1)，(x2，y2)，(x3，y3)，将这3点代入方程(14)，得到：

2 支持向量回归联合三点拟合圆算法原理

2.1 联合算法原理

本文主要针对图1、图2这种噪声比较大的空心圆的识别，对于图5中的实心圆，只要运用Canny边缘检测算子检测出实心圆的边缘(见图6)，便可以使用该算法检测。支持向量回归联合三点拟合圆算法原理如下：首先选取合适的支持向量回归模型，通过训练数据训练该模型，从而在待识别图像中构建一个宽度为2ε的近似圆环的间隔带(见图4)，落入此间隔带样本的点构成分割超平面此时使得f(x)=0的数据点则认为是属于圆形边界上的点，然后对这些点运用三点拟合圆几何算法确定圆心和半径。

气雾化的原理是通过高速气流将液态金属流粉碎为小滴并快速冷凝成粉末的过程。气雾化制备金属粉末具有粒度细、球形度高、纯度高等优点[8],是目前生产3D打印用金属粉末的主要方法, 其制备的3D 打印粉末金属占雾化法制备粉末的40%左右[9]。但气雾化技术也存在一定的不足，在气流破碎金属液体的过程中，气流能量低，雾化效率低，增加了金属粉末制备成本。

  

图5 源图像3Fig.5 Source image 3

  

图6 图5的边缘信息Fig.6 Edge information of Fig.5

2.2 支持向量回归核函数的选择

该联合算法性能的关键是支持向量回归模型的选择，模型选择主要包括2方面：1)核函数类型的选择；2)确定核函数类型后相关参数的选择。其中核函数的选择更加重要，核函数直接决定了支持向量回归的最终性能，不同的核函数可以生成不同的支持向量回归模型。常用的核函数有线性核、多项式核、高斯径向基核(RBF)、Sigmoid核等，其表达式与参数见表1。

 

表1 常用核函数Fig.1 Common kernel functions

  

名 称表达式参数线性核κ(xi，yj)=xTiyj无多项式核κ(xi，yi)=(xTiyj)dd≥1为多项式的次数Sigmoid核κ(xi，yj)=tanh(βxTiyj+θ)Tanh为双曲正切函数，β>0，θ<0高斯径向基核(RBF)κ(xi，yj)=exp(-‖xi-yj‖22σ2)σ>0为高斯径向基核(RBF)的带宽(width)

这些核函数各有其优点和适用场合，如何根据具体的数据选择恰当的核函数是支持向量回归应用领域中的一个难点，遗憾的是核函数的选择是一个未解决的问题[13-18]。

目前来说，应用最广泛的是高斯径向基核(RBF)，无论在小样本还是大样本、高维还是低维等情况下[15]，缺乏先验知识时其适用性都是最好的。RBF相比其他核函数有以下优点：1)RBF核函数可以将一个样本映射到一个更高维的空间，也就是说如果考虑使用RBF，便就没有必要考虑线性核函数；2)与多项式核函数相比，RBF需要确定的参数更少，能够减少数值的计算困难；3)参数取某些特定值时，RBF和sigmoid具有相似的性能。

于是，SVR问题的目标函数可以表示为

2.3 高斯径向基核(RBF)参数的选择

选择好核函数之后，便要确定核参数选择的方法，基于RBF核的支持向量回归的性能主要受参数σ和正则化参数C的影响。参数σ是RBF核的唯一参数，σ不同则样本向量映射的特征空间也不同，因此参数σ是影响RBF灵活度的关键[15]。正则化参数C是目标函数的参数，是对错分样本数据偏离值的惩罚系数，它的作用是调节学习机的经验风险和置信范围的比例,一般来说，训练样本集越大，训练结果对C越不敏感[18]。

选择RBF参数通常有如下几种方法:统计学习理论的VC维学习方法、贝叶斯法(Bayesian)、交叉验证法(Cross-validation)等。统计学习理论的VC维学习方法通过使得参数在VC维的上界最小，来确定模型的参数；贝叶斯法(Bayesian)主要应用于最小二乘支持向量机(LS-SVM)中核函数的参数的确定[19]；交叉验证法为最简单、最方便的方法，其基本思想是将原始数据分成2组，一组作为训练集，另一组作为验证集，首先通过选择几组不同的(C,σ)对训练集进行训练，再利用验证集来验证训练集训练得到的模型，选择其中使验证集中数据错误最小的那一组(C,σ)作为模型的参数。在小样本的情况下，交叉验证法是较为方便的方法，也是本文所采用的方法。

式中K(xi,x)=Φ(xi)T,Φ(x)为核函数。

4）采用现代信息技术，对机械类课程中复杂产品设计、机械加工过程、机械振动控制以及加工表面质量等知识点进行改革与应用。

2.4 支持向量回归联合三点拟合圆算法步骤

圆形检测的步骤如下。

Step1：人为随机选取测试集圆形边缘上10组的不共线的3点，使用三点拟合圆的方法分别计算圆心、半径，精度取小数点后3位，求其平均值。

Step2：加载训练样本，将训练样本转换为灰度图像，并将图像大小统一调整为32(宽)*32(高)。样本中黑色像素标记为正例1，白色像素标记为-1。

(3)产能过剩，内部竞争严重。在湖北省加速发展汽车零部件产业的过程中，各地均将汽车零部件产业作为支柱产业进行重点发展，但行业整体缺乏统筹协调和超前统一规划，因此各自为战现象较为明显，未形成错位竞争格局，在招商、融资、销售等各方面形成严重的内部消耗与内部竞争状态，也造成了产能过剩现象。

Step3：选取一组参数(C,σ)，运用支持向量回归SVR算法求出训练样本的超平面方程

其中

Step4：将测试集的数据点代入中，如果f(x)=0，则判断该点属于圆形上的点。将属于圆形上的点存入数组arg[]，随机选取arg[]中50组非共线的3点，用三点拟合圆的方法计算每一组的圆心和半径，精度取小数点后3位。统计这50组识别圆的结果，概率最大一组数据即为该联合算法确定的圆心和半径。

中美贸易战肯定会对中美贸易带来一定影响，并且会对全球贸易带来极为不利的影响。作为全球贸易的主要承载者，航运业也因此备受关注。在贸易格局变化中，航运业无疑将受到冲击。在冲击与变化中，航运企业究竟何去何从？

Step5：将识别的圆心与半径与Step1中手动计算的标准值进行比较，若偏差大于1个像素，则通过交叉验证法更换下一组参数(C，σ)，重复步骤Step2—Step5。

Step6：得到联合算法的参数(C，σ)之后，重复步骤step4和步骤5识别验证集。

3 实验仿真及分析

3.1 实验平台

算法结果均在CPU为Intel(R) Core(TM) i3 M350 ,2.27 GHz，内存为8 GB，操作系统为Windows7 旗舰版的宏碁笔记本电脑上运行得到，开发工具为VS2010+opencv2.49。

3.2 实验仿真

为了验证支持向量回归联合三点拟合圆算法(联合算法)的有效性，对其进行了大量的测试，并引入了模板匹配[20-21]、RHT算法、圆度检测、手动计算作为对照。该联合算法实验是在合成的图像上进行训练与检测，将数据分为训练集图7—图14、测试集图1、验证集图15 a)—图15 d)，其中训练集展示为部分数据。测试集用来得到参数(C,σ)，验证集为检测的样本数据。各检测结果如图15所示，图15 a)—图15 d)为源图像，图15 a1)—图15 d1)为联合算法识别结果，图15 a2)—图15 d2)、图15 a3)—图15 d3)、图15 a4)—图15 d4)分别为模板匹配、RHT算法、圆度检测算法的识别结果。

  

图7 训练数据1Fig.7 Training data 1

  

图8 训练数据2Fig.8 Training data 2

  

图9 训练数据3Fig.9 Training data 3

  

图10 训练数据4Fig.10 Training data 4

  

图11 训练数据5Fig.11 Training data 5

  

图12 训练数据6Fig.12 Training data 6

  

图13 训练数据7Fig.13 Training data 7

  

图14 训练数据8Fig.14 Training data 8

  

图15 不同算法下圆形检测结果对比Fig.15 Comparison of circle detection results by different methods

3.3 实验分析

由图15可知：1)联合算法与模板匹配的检测结果类似，识别出了图15 a)—图15 d)所有类型的圆形；2)边缘比较清晰的实心圆见图15 a)，噪声比较小的空心圆见图15 d)，各算法均有比较好的识别效果；3)噪声比较大的见图15 b)、在图15 c)中，RHT算法识别的结果偏差较大；4)圆度检测能够识别图15 b)、图15 c)，但对图15 b)、图15 c)的识别有所偏差。联合算法、模板匹配、RHT算法、圆度检测和手动计算的圆心与半径的精度分别记录在表2中，从表2中记录结果来看，背景比较复杂的图15 b)、图15 c)中，联合算法、模板匹配、手动计算的结果最为接近，说明联合算法与模板匹配在这几种算法中识别精度是最好的。但是模板匹配需要选中合适的模板才能匹配出最优的位置，也就是每识别一种类型的图片就需要更换一种模板，且识别精度仅能达到像素级，联合算法的识别结果带有小数位，能够达到像素级以下，因此在精度上联合算法又优于模板匹配。综上，联合算法在模板匹配、RHT算法、圆度检测算法中为最优的。

 

表2 识别结果Fig.2 Recognition results 像素

  

源图像图15a)圆心/半径图15b)圆心/半径图15c)圆心/半径图15d)圆心/半径联合算法(53．757，83．573)23．684(202．256，111．532)89．358(145．267，106．473)54．747(148．768，121．574)45．534模板匹配(53，84)23(203，111)90(145，107)55(148，122)45RHT算法(53．553，83．569)23．842(136．151，149．784)65．687(87．274，111．625)37．628(148．768，121．574)45．236圆度检测(53．238，83．452)23．356(195．466，108．343)87．258(157．825，110．257)53．826(148．537，121．834)45．562手动计算(53．437，83．642)23．540(202．263，111．536)89．363(145．252，106．461)54．528(148．263，121．134)45．427

联合算法、模板匹配、RHT算法和圆度检测这4种算法对图15 a)—图15 d)4幅图像的检测时间记录在表3中。总体上模板匹配检测时间最短，RHT算法其次，圆度检测第三，联合算法用时最长。这是由于联合算法需要通过核函数将低维数据映射到高维空间，在高维空间中构造训练数据的最优分类超平面，增加了时间的开销。说明该联合算法是在牺牲了算法的时间复杂度的基础上提升了识别圆的精确度。

 

表3 各算法时间消耗对比Fig.3 Execution-time comparison

  

算法图像检测时间/s图15a)图15b)图15c)图15d)联合算法0．850．740．560．63模板匹配0．130．250．140．12RHT算法0．530．540．280．42圆度检测0．320．440．410．39

4 结 语

本文提出了基于支持向量回归与三点拟合圆联合的圆形检测新算法，该算法通过选择适当的核参数对圆形样本进行训练，能够识别复杂背景下的圆形，使得识别的精度与手动拟合圆的圆心与半径误差均在1个像素之内。实际工程应用中，同一个程序常常需要识别不同类型的圆形，单纯某一种算法识别的效果经常受到局限，此联合算法通过对样本的学习来确定圆形的边界信息，是对圆形物体检测的一种有益尝试。该联合算法目前只针对源图像中仅有一个圆形的情况且时间消耗比较大，下一步将继续拓展该算法的适用范围及优化该算法的时间复杂度，使其能够在合理的时间内识别出多圆的情形。

对总有效率、NIHSS评分和预后良好率3个评价指标绘制倒漏斗图，见图6、图7和图8。结果显示所有漏斗图基本对称，大部分数据点均匀分布于倒漏斗图的上部，提示发表偏移的可能性很低。

参考文献/References:

[1] 于起锋，陆宏伟，刘肖琳. 基于图像的精密测量和运动测量[M]. 北京：国防工业出版社,2002.

[2] CUEVAS E, WARIO F. Automatic multiple circle detection based on artificial immune systems[J]. Expert Systems with Applications An International Journal, 2012, 39(1):713-722.

[3] LAMIROY B, GUEBBAS Y.Robust and precise circular arc detection[J]. Lecture Notes in Computer Science, 2010, 6020:49-60.

[4] YUAN B, LIU M. Power Histogram for Circle Detection on Images[M]. Elsevier: Science Inc,2015.

[5] MUAMMAR H, NIXON M. Approaches to extending the Hough transform[J]. Speech and Signal Processing ICASSP, 1989, 3: 1556-1559.

[6] 张之稳，宋世军. 利用圆度进行圆定位方法[J]. 山东大学学报(工学版)，2006,36(1)：19-22.

ZHANG Zhiwen, SONG Shijun. Circle locating method based on roundness[J]. Journal of Shandong University (Engineering Science), 2006, 36(1):19-22.

[7] XU L, OJA E, KULTANEN P. A new curve detection method: Randomized Hough transform (RHT)[J]. Pattern Recognition Letters, 1990, 11(5):331-338.

[8] 黎自强，腾弘飞. 广义Hough变换：多个圆的快速随机检测[J]. 计算机辅助设计与图形学学报，2006, 18(1)：27-33.

LI Ziqiang, TENG Hongfei. Generalized Hough transform: Fast randomized mu1ti-circle detection[J]. Journal of Computer-Aided Design & Computer Graphics, 2006, 18(1): 27-33.

[9] 王定成, 方廷健, 唐毅. 支持向量机回归理论与控制的综述[J]. 模式识别与人工智能, 2003,16(2):192-197.

[10] 周志华，机器学习[M]. 北京：清华大学出版社，2016：121-140.

[11] SMOLA A J.A tutorial on support vector regression[J]. Statistics & Computing, 2004, 14(3):199-222.

[12] 李航， 统计学习方法[M].北京：清华大学出版社，2012：95-134.

[13] 邓乃扬，田英杰. 支持向量机——理论、算法与拓展[M]. 北京：科学出版社，2009.

[14] 朱树先, 张仁杰. 支持向量机核函数选择的研究[J]. 科学技术与工程, 2008, 8(16):4513-4517.

[15] 欧阳中, 王育齐, 俞梅洪. 基于不同核函数的支持向量机的分析与比较[J]. 福建电脑, 2013, 29(10):12-14.

[16] 钟震. 稀疏表示下支持向量机核函数选择[D]. 南昌：江西理工大学,2015.

ZHONG Zhen. Support Vector Machine Kernel Function Selection with Sparse Representation[D]. Nanchang:Jiangxi University of Science and Technology,2015.

[17] 李海生. 支持向量机回归算法与应用研究[D]. 广州：华南理工大学, 2005.

LI Haisheng. Algorithm and Application Research of Support Vector Machine Regression[D]. Guangzhou:South China University of Technology, 2005.

[18] 刘明. 支持向量机中Sigmoid核函数的研究[D]. 西安：西安电子科技大学,2009

LIU Ming. Research on Sigmoid Kernel Function in Support Vector Machines[D]. Xi’an:Xidian University,2009.

[19] 樊晓雪. 最小二乘支持向量机的参数选择[D]. 保定：河北大学, 2012.

FAN Xiaoxue. Least Squares Support Vector Machine Parameter Selection[D].Baoding:Hebei University,2012.

[20] 刘瑞祯, 于仕琪. opencv教程——基础篇[M]. 北京：北京航空航天大学出版社，2007.

[21] 陈令刚. 基于模板匹配的多圆识别算法[J]. 电脑知识与技术, 2017, 13(24): 173-174.

CHEN Linggang. A algorithm for multiple-circle detection on images using template matching[J]. Computer Knowledge and Technology, 2017, 13(24): 173-174.