基于局部特征的车辆二次识别方法

车辆二次识别的目的是通过一张图像识别出数据库中对应同一辆车的图像，由于其对现实应用具有重要作用，越来越受研究人员的关注[1-3]。车辆二次识别的方法[1,4]是通过车型外观和车牌实现车辆的准确搜索，用外观粗略过滤后，再基于车牌进行精确检索，最后进行时空属性重新排名。车辆的二次识别不同于行人的二次识别[5]，不同人之间的外表都是有差异的，而由于车辆外观的特殊性，同一型号的车辆外观可能是一模一样的，在无车牌的情况下检索出同一辆车是难以实现的。Liu等[2]改进三元组损失函数并提出了coupled clusters loss，不利用车牌信息，通过学习车辆深度特征达到精确识别的目的。Xu等[6]提出基于RepNet网络的多任务学习框架结构，从粗、细粒度两方面来学习车辆特征，实现了车辆精确识别，并缩短了检索时间。这些研究是在获取大量提前标注的不同车辆图像的情况下进行，并且识别准确率有待提高。

车辆二次识别的主要挑战性在于实际场景的干扰和车辆外观本身的干扰。首先，在实际场景中，例如光照、背景、角度和不同分辨率等各种干扰，车辆图像的差异使识别困难；其次，同一型号车辆的重复外观使识别难度加大。因此，如何找出不同车辆之间的差异是一个重要的研究方向。由于车脸可以很好体现车辆的外观特征[7]，通过学习车脸特征进行分类能对具体目标型号进行准确识别，而因车主的喜好使车窗具有鲜明的局部特征，特殊标志(挂饰、摆件、纸巾盒、年检标)使得相同型号的车辆能够加以区分，并可以通过提取局部特征计算相似度进行比对匹配[8]。因此可使用车脸、车窗目标图像对车辆进行精确识别。

针对品牌和具体型号等信息相同车辆难以区分辨别的问题，结合现实交通应用需求，提出了一种新的基于局部特征的车辆二次识别方法。使用SSD[9]算法进行检测定位出车脸和车窗后，依据车脸、车窗目标等独特的局部特征，提出改进的IHFCNN(increasing hierarchical feature convolutional neural networks)模型提取车脸的深度特征，并进一步对车脸进行分类确定相关车型，然后设计了一种新的车窗特征识别算法，在车辆相同型号下利用车窗显著特征进行匹配对比，识别检索出特定的目标车辆。

1 基于局部特征的车辆目标识别模型

提出的改进算法逻辑框图如图1所示。

  

图1 车辆二次识别系统框图Fig.1 Block diagram of vehicle re-identification system

车辆图像二次识别实现步骤如下：

1) 利用现有目标定位检测技术获取车辆目标位置，截取车脸和车窗图像；

该模型利用小尺寸卷积核及小距离跨步，使得网络准确率较高。网络中所有的卷积层的卷积核尺寸均为3×3，用来提取车脸特征。将局部响应归一化层(local response normalization，简称LRN)[11]引入到网络中，由于LRN模拟视觉感知侧抑制机制，结合使用方式为局部神经元的活动提供了竞争机制，从而使响应较大的值更大。因此增强了模型的泛化能力，促进了训练的收敛速度。为了能够学到泛化能力和辨识能力更高的特征信息，在网络结构的损失层上加入中心损失，通过惩罚每个种类的样本和该种样本中心的偏移，使同一种类的样本尽量聚合在一起，通过训练使网络得到优化，其表示为

对于实验设定如下评判标准：（1）注重荷载-沉降曲线观察，确定承载力陡降的同时，查看位移传感器的显示数据，确认总沉降量是否大于40mm；（2）基础桩因受承载过大已经发生破坏，且破坏仍在不断增加；（3）针对桩长超过25m的基础桩，其荷载-沉降曲线缓慢变形的阶段尚未出现；（4）实验中，若发生下一次的沉降量是本次沉降量的2倍且此状态还在持续，则表明基础桩荷载受力还未稳定；（5）实验中加载的最大荷载大于设计单桩承载力的2倍是实验数据有效的基础，若施加荷载不够，则实验无效。

2) 使用提出的IHFCNN模型提取车脸图像的深度特征；

3) 将提出的深度卷积神经网络模型用于提取车窗显著的特征；

4) 根据车脸、车窗局部特征的相似度信息，判断识别出车辆型号并检索出相似目标图像。

1.1 基于IHFCNN模型的车脸深度特征提取

为获得车脸的有效特征信息，提出一种新的IHFCNN模型提取车脸的深度特征。通过观察车辆图像可知，不同型号的车辆肯定不可能为同一辆车的图像，所以根据目标车辆筛选出相同型号的车辆图像进行二次识别。进一步观察到不同型号的车辆外观具有差异性元素，车脸作为纹理特点富集区能较容易地区分这些差异，并且受环境影响较小。因此，使用得到的车脸进行型号的分类。车脸特征提取网络的框架结构如图2所示。CNN网络包括基本层卷积层、池化层、完全连接层以及softmax层。基于典型的卷积神经网络结构，设计了一种新的网络层来模拟大脑视觉信息的层次性处理过程，并且在特征输出层引入中心损失函数center loss[10]，结合使用softmax分类器对车辆具体型号进行分类。

  

图2 车脸特征提取网络结构Fig.2 Car-face feature extraction network structure

在图2中，conv_rule表示卷积和非线性操作；LRN表示局部响应归一化；pool表示池化层对卷积层的输出图进行采样处理；fc_rule表示全连接层和非线性操作；FC表示全连接层。

通过选取最优的脉冲信号占空比,可利用电压变换电路实现将在一定范围变化的电压转换为稳定的12 V电压源。对不同输入电压情况下,选取的最优化脉冲信号占空比进行分析,得到脉冲占空比随输入电压变化关系,拟合曲线后如图8所示。图中D为脉冲信号占空比,U为整流电路输入端输入的交流电压,可以看出最优占空比随输入电压成指数递减。根据拟合曲线可以得到占空比与输入电压的关系,从而在控制电压变换电路时参考该曲线就能得到理想的占空比数据,当电路检测到输入电压,根据曲线设置脉冲占空比,输出电压即为12 V。

 

(1)

其中：xi为第i张图片的特征值；cyi为类yi的类中心。

基于IHFCNN车脸图像特征提取的处理流程如图3所示。

  

图3 基于IHFCNN的特征提取模型Fig.3 Feature extraction model based on IHFCNN

基于IHFCNN的深度特征提取模型中，输入为纹理信息丰富的车脸，IHFCNN模型模拟视觉对信号的分级处理功能，对车脸逐层提取特征，然后把提取的特征连接为一个512维的特征向量，接着利用多层全连接层对特征进行联合优化。多层全连接层的特征处理模块结构如图4所示。

  

图4 多层全连接层的特征处理模块结构Fig.4 Feature processing module diagram of multiple fully connected layers

利用得到的车窗目标特征提取网络模型输出车窗信息，由此获得不同车辆的差异性局部特征，为车辆二次识别提供了基础保证。

1.2 车窗目标深度特征提取

设计一种基于IHFCNN模型对车窗进行特征识别的算法对车辆目标进行准确识别。其基本原理是：对于同一型号的目标车辆来说，可以通过车窗目标局部特征进行辨别。在实际生活中，因驾驶员的喜好使车窗具有鲜明的局部特征，如图5中的特殊标志(挂饰、摆件、纸巾盒、年检标等)，使得相同型号的车辆能够加以区分。

  

图5 车窗内特殊标志示例Fig.5 Examples of special signs in the window

为了测试改进的基于IHFCNN模型车辆比对方法的有效性，随机选取2000对相同型号和2000对不同型号的车脸图像作为比对的测试样本，这里的测试样本与训练样本相互独立。实验选择改进的IHFCNN模型与具有较强目标识别能力的CNN结构[11,13,15]作比较，所有网络使用相同的训练样本和实验环境，选取训练好的网络模型的倒数第2个全连接层输出深度特征，通过式(2)计算相似度。各网络的车脸比对准确率最高时，实验结果及对应的阈值如表2所示。

  

图6 Inception结构Fig.6 Inception structure

车窗目标的特征提取网络模型的具体参数如表1所示。由于获取车窗深度特征与获取车脸深度特征的流程一致，这里不再赘述，主要说明车窗目标特征提取网络的具体参数细节。

 

表1 车窗目标特征提取网络的具体参数Tab.1 The specific parameters of the window target feature extraction network

  

Namepatch size/strideOutputsizedepth#1×1#3×3reduce#3×3double#3×3reducedouble3×3pool+projConv7×7/2112×112×641max pool3×3/256×56×640Conv3×3/156×56×192164192max pool3×3/228×28×1920inception(3a)28×28×25636464646496avg+32inception(3b)28×28×32036464966496avg+64inception(3c)stride 228×28×576301281606496max+pass thoughinception(4a)14×14×5763224649698128avg+128inception(4b)14×14×576319211212896128avg+128inception(4c)14×14×5763160128160128160avg+128inception(4 d)14×14×576396128192160192avg+128inception(4e)stride 214×14×1 02430128192192256max+pass thoughinception(5a)7×7×1 0243352192320160224avg+128inception(5b)7×7×1 0243352192320192224max+128avg pool7×7/11×1×1 0240

注：“#3×3 reduce”和“double #3×3 reduce”表示1×1 reduction layer的数量；“pool+proj”表示池化方法和池化层后1×1 projection layer的数量。

特征处理模块包括3个全连接层，其特征向量的维数分别为4 096，1 024，n，其中n的值取决于训练样本的类别，由于实验对851种车辆型号进行了训练，n=851。鉴于全连接层上下两层任意节点随机相连的特点，车辆图像特征更加趋于稳定，Sun等[12]研究表明在多层全连接层中，处于倒数第2个全连接层处理后的图像特征表达性能最强，加上维度不变且不被训练样本种类数目影响的优点，是用于车辆比对的最佳特征。所以，深度特征为倒数第2层全连接层(即图4的虚线框)的输出信息，维数为1 024。

1.3 基于局部深度特征的相似性计算

进行比对的车辆图像分别经过改进深度卷积神经网络的特征提取模型后，得到对应的车脸和车窗特征，概括表达了车辆型号与特殊标志的信息，为车辆二次识别提供了基础保证。比对过程中，先对车脸深度特征进行比对，根据特征的相似度筛选与目标车辆相同型号的图像；然后计算目标车辆和相同型号车辆图像的车窗深度特征的相似度，判断是否为同一辆车，按相似度大小排序输出接近目标车辆的图像。

3.坚持“尊重融合”文化理念，推动利益相关者共同参与共同获益。尊重东道国法律和习俗，履行社会承诺，改善当地民生设施，为当地经济和社会发展提供持续动力。

在机器学习中，通常使用余弦距离计算样本向量间的相似程度，因此采用该方式获得特征的相似度ω，

当然，大学四年，你也可以选择，参加1～2个喜欢的社团，拿2～3次奖学金，考3～4张有用的证书，听30场名家讲座，读100本经典书籍，上810次自习，学有余力的还可以选修一个第二专业，用四年的时间积累丰富的学识，练就更加聪明的头脑，为你想要的未来铺路搭桥。

 

(2)

其中，xi、yi分别为2个深度特征向量X、Y的第i个元素。由于特征提取网络运用ReLu激活函数，故深度特征向量不是负数，所以相似度的取值范围为ω∈[0,1]。

在节水灌溉技术选择过程中，要按照因地制宜的模式，制定科学的节水灌溉发展规划，避免盲目引进不适合本地区农业生产的节水灌溉技术，不盲目搞所谓的样子工程。针对本地区存在大量中低产田的现状，应该进一步重视中低产田改造，将中低产田改造列为今后农业的主攻方向。通过利用合适的灌溉技术，将中低产田的低产向着高产转变。进一步促进节水灌溉技术在中低产田推广应用，提升农业生产效益。

在车辆图像的比对过程中，应设置一个相似度的阈值θ，以便判断车辆的归类。当ω≥θ时，表明输入比对的图像相似度较高，可以判断为同一类；相反，当ω<θ时，表明输入比对图像相似度较低，是不同的类别。相似度阈值θ的取值会影响车辆比对的准确率，已经通过大量实验确定最优数值。

3) 当政策模糊性高、冲突程度低的情况下，选用试验性实行。 依照Matland的观点，该模式的支配要素是“情境”，情境是由政策对象中资源和参与者的数量决定的，不同的情境决定了政策的实行效果不同。 这里特别强调了政策实行中的“试验性”。

2 实验结果及分析

2.1 实验过程

从表2可看出，改进的基于IHFCNN深度特征车脸比对的准确率达到了98.97%，效果最好。AlexNet、GoogLeNet和VGG-D方法的比对准确率低于本方法，原因在于与其他方法相比，改进的IHFCNN模型具有良好的信息层次处理能力，使提取的深度特征表达能力较强，因此比对准确率高。

  

图7 部分车脸训练样本Fig.7 Part of the car-face training sample

使用自建的数据库测试识别效果。测试库共有13 140张车辆图像，选取200辆车的图像作为待识别车辆，每辆车对应2～10张图像。特别指出，选取的200张图像分别代表了不同车牌号的车辆，由于每个车牌号是唯一的，即每辆车有唯一的身份。测试库的难度在于有11 280张图像是干扰项，其车辆型号和颜色与待识别车辆具有共同的特征，如图8所示，第1行前2张(虚线框内)为同一车辆的图像，后2张图像为干扰项，干扰图像尽管外观相似但不属于同一辆车。

  

图8 测试库样本示例Fig.8 Sample test library example

2.2 车辆二次识别结果分析

2.2.1 基于深度特征的车脸比对方法的有效性

为了获取具有区分性的车辆显著特征，车窗深度特征提取使用的基础网络为GoogLeNet [13]，对其进行改进后作为车窗的特征提取模型。文献[13]中网络有22层，并且提出了Inception结构。该模型大小却比AlexNet和VGG都小很多，性能优越，并且尺寸为1×1的卷积核能够减少feature map的厚度。在网络中使用多个小尺寸的滤波器堆叠来代替大尺寸的滤波器，不仅能减少参数数量，还能增加网络的非线性表达能力。网络对原Inception结构进行改进，利用2个3×3的卷积层替换一个5×5的卷积层，具体使用的Inception结构如图6(b)所示。网络中所有的卷积包括Inception都使用ReLU非线性层，训练图像都做减均值处理。

 

表2 各CNN网络的车脸比对结果Tab.2 Car-face comparison result of each CNN network

  

方法准确率/%相似度阈值θAlexNet[11]97.100.58GoogLeNet[13]97.980.51VGG-D[15]98.010.55IHFCNN98.970.50

为获得特征提取能力更好的深度模型，实验中训练样本采用交通卡口监控图像，选取了320 000张图像进行训练，包括现实交通常见的851类车辆型号。对车脸进行定位截取后，归一化处理为尺寸224×224作为输入。部分训练样本如图7所示。经过多次训练，最终获得特征提取能力较强的特征提取模型。针对车窗目标特征提取是利用Imagenet数据集847类图像训练模型，用车窗目标样本微调后用来提取特征。实验平台的操作系统为Ubuntu 14.04，处理器为Intel i3四核3.4 GHz，8 GB内存，GTX980Ti显卡，实验使用基于C++编程语言的Caffe[14]工具包。

为说明使用的车窗目标特征提取网络模型的有效性，实验测试集由每类车窗目标图像随机产生，共2500张图片。实验选择与具有较强目标识别能力的CNN结构[11,13,15]作比较，所有网络使用相同的训练样本和实验环境，各识别准确率如表3所示。

2.2.2 车窗目标特征提取网络的有效性

 

表3 各网络结构准确率比较Tab.3 Comparison of network structure accuracy

  

方法准确率/%AlexNet[11]95.23GoogLeNet[13]97.80VGG-D[15]97.72提出的网络98.16

从表3可看出，使用的车窗目标特征提取网络识别准确率最高，达到了98.16%。与AlexNet、GoogLeNet和VGG-D比较，不仅准确率最高，模型尺寸也最小。因此，使用此网络训练特征提取模型，训练得到的模型用于下一步的基于局部特征的车辆二次识别。

2.2.3 车脸与车窗局部特征的二次识别有效性

“通过此次展会，瓦克将把公司最前沿的产品和技术介绍给中国市场，寻找潜在客户和合作伙伴，共同开发中国市场，并助力中国向高端制造业转型。”瓦克大中华区总裁林博补充道。

营造积极网络环境，减少青少年犯罪事件发生，需要家长、学校和社会的共同努力，加大对青少年的关注力度，帮他们安全度过人生的转折期。

为了测试基于车脸与车窗局部特征的二次识别方法的有效性，使用自建的数据库进行测试，测试库有13 140张车辆图像，选取200辆车的图像作为待识别目标，从余下的12 940张图像中检索出待识别目标图像，并输出相似度排名前5的图像，如图9用示例说明实验结果。蓝色边框内(即每行第1张图像)是待识别的车辆图像，红色边框内(第1行第4张，第2行第2张)是识别出的相同车辆图像(车牌号相同即为同一辆车)，由图9第1行所示，识别结果按相似度大小排序，输出第3名为正确结果，第2行中输出的第1名就识别检索到了对应正确的车辆图像。

  

图9 车辆二次识别的实验输出结果示例Fig.9 Example of experimental output of vehicle re-identification

将待识别车辆图像输入进行比对识别，并输出相似度排名前5的图像，统计Top1和Top5的识别准确率，具体实验结果如表4所示。

 

表4 基于车脸和车窗局部特征的车辆二次识别实验结果Tab.4 The experiment results of vehicle re-identification based on local features

  

相似度排名识别准确率Top180.11%Top592.65%

由表4可知，使用基于车脸与车窗局部特征的二次识别方法在测试库的识别Top1结果为80.11%，Top5为92.65%，本方法针对识别正面卡口的车辆图像有较好的识别准确率，因此具有重要的实用价值，说明使用显著的局部特征进行车辆精确识别在实际交通卡口监控系统应用中是有效的。

在他的电影中，无论是流浪汉自己遇到各种“倒霉”的事情，还是他“倒霉”的同时也把别人“拉下水”，甚至是一个衣冠不整的人装模作样表现出的种种窘态，都令观众们发笑。卓别林的成功之处正在于他深深了解大众的“笑点”在哪儿。别小看这个能力，这些都是心理学家们才会专门研究的课题，而卓别林依靠他细致入微的观察和从不停歇的思考做到了。与其说是灵感，不如说是用心！

3 结束语

提出的基于局部特征的车辆二次识别方法具有良好的实际效果。通过深度卷积神经网络模型提取车脸和车窗的深度特征，获取到表达能力强的特征信息，并结合不同车辆间的差异性特征，计算特征之间的相似度，对待识别车辆与测试库图像特征进行比对，实现了车辆的精确识别。提出的模型可解决智能交通系统中的现实问题，符合实际应用需求。

墨西哥牛油果油、泰国烧烤椰、新加坡天然谷物饮料……在前不久举行的首届中国国际进口博览会上，来自全球100多个国家、近2000家企业展示的各类食品及农产品蔚为大观。其中既包含绿色有机的健康食品，也有凝聚现代工艺的深加工产品，好品质、高颜值、多品类，引得现场客商云集。

参考文献:

[1] LIU Xinchen,LIU Wu,MA Huadong,et al.Large-scale vehicle re-identification in urban surveillance videos[C]//IEEE International Conference on Multimedia and Expo,2016:1-6.

[2] LIU Hongye,TIAN Yonghong,WANG Yaowei,et al.Deep relative distance learning:tell the difference between similar vehicles[C]//Computer Vision and Pattern Recognition,2016:2167-2175.

[3] SHEN Yantao,XIAO Tong,LI Hongsheng,et al.Learning deep neural networks for vehicle Re-ID with visual-spatio-temporal path proposals[C]//IEEE International Conference on Computer Vision,2017:1918-1927.

[4] LIU Xinchen,LIU Wu,MEI Tao,et al.A deep learning-based approach to progressive vehicle re-identification for urban surveillance[C]//European Conference on Computer Vision,2016:869-884.

[5] DING Shengyong,LIN Liang,WANG Guangrun,et al.Deep feature learning with relative distance comparison for person re-identification[J].Pattern Recognition,2015,48(10):2993-3003.

[6] XU Qiantong,YAN Ke,TIAN Yonghong.Learning a repression network for precise vehicle search[C]//Computer Vision and Pattern Recognition,2017:1-7.

[7] 姚钦文.基于卷积神经网络的车脸识别研究[D].杭州：浙江大学,2016.

[8] 甘凯今.基于深度卷积神经网络的车辆识别与检索研究[D].桂林：桂林电子科技大学,2016.

[9] LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:single shot multibox detector[C]//European Conference on Computer Vision,2016:21-37.

[10] WEN Yandong,ZHANG Kaipeng,LI Zhifeng,et al.A discriminative feature learning approach for deep face recognition[J].Springer International Publishing,2016,47(9):499-515.

[11] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems,2012:1097-1105.

[12] SUN Yi,WANG Xiaogang,TANG Xiaoou.Deep learning face representation from predicting 10,000 classes[C]// IEEE Conference on Computer Vision and Pattern Recognition,2014:1891-1898.

[13] SZEGEDY C,LIU Wei,JIA Yangqing,et al.Going deeper with convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2015:1-9.

[14] JIA Yangqing,SHELHAMER E,DONAHUE J,et al.Caffe: convolutional architecture for fast feature embedding[C]//Acm International Conference on Multimedia,2014:675-678.

[15] SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].Computer Science,2014:1-14.