一种基于多目视觉的无人机实时定位方法

随着无人机技术和产业的发展，无人机在生活中变得越来越常见，无人机飞行安全成为一个备受关注的话题，飞行精度是无人机质量检测的重要指标。为配合第三方质检机构对无人机进行质量检测，本文提出了一种基于多目视觉的无人机实时定位方法。

当前农业生产中大多都是采取机械化生产作业，地膜残留会对农机作业产生影响，降低农业生产质量与效率。此外，残留地膜还具有其他方面的危害，残留碎片会与农作物秸秆以及各类饲料混合在一起，家畜误食之后肠胃功能会降低，导致牲畜死亡。加上残留地膜四处散布会导致地膜四处漂移，会产生更多污染[1]。

基于视觉的目标检测定位方法可以分为3类：基于单目视觉的目标定位、基于双目视觉的目标定位和基于多目视觉的目标定位。基于单目视觉的目标定位是一个二维恢复三维的问题，需要一些辅助设备或信息来获取深度信息，如刚体表面的多个相对位置已知的附加或自身标识[1-2]、目标在某已知面内运动[3-4]、参考数据[5-7]等。基于附加或自身标识的方法在距离较远时存在标识识别困难的问题，限制目标运动轨迹在某一面内不适用于无人机定位情形，参考数据不能适应不同型号的无人机，且在无人机距离较远时存在特征丢失、匹配困难的问题。双目视觉通过模拟人眼立体观测原理来实现目标定位，在智能交通[8]、机器人抓取引导[9-10]等领域有着广泛应用，其主要缺点在于观测视角有限。多目立体视觉原理和双目立体视觉相同，但相比双目立体观测，多相机的使用一方面可以扩大观测范围[11-12]，另一方面也可以提供更多的多余观测，提高定位结果的可靠性。

目前，S2已经完成了2018年的“走秀”，开始远离黑洞。根策尔博士希望，明年，当这颗恒星在离黑洞更远的轨道上运动时，他们能够获取更多数据。通过来年进一步的观测，我们也许能够彻底究明S2的运动轨道，或许还能解答其他问题，比如黑洞是否真的拽着时空一起旋转，就像搅面团一样？

相比一般的运动目标定位，无人机定位具有范围大、型号多样、逆光成像等特点，导致无人机成像暗，纹理、轮廓等信息丢失，人工发光或反光标识难以识别。针对以上问题，本文提出了一种基于多目视觉的无人机定位方法。该方法使用多个标定后的相机对飞行中的无人机进行软触发同步图像采集，使用背景差分、连通域分析、前方交会、重投影等技术实现无人机的自动检测和定位。最终统计实际定位结果与预先设计的无人机飞行航线间水平和竖直方向偏差、偏差最大值及偏差标准差，以作为无人机飞行质量评价的参考指标。

1 多目视觉无人机自动定位系统设计与实现

1.1 系统设计

[4] JUNG S，JANG D，KIM M.An Approach to 3D Object Localization Based on Monocular Vision[J].Journal of Korea Multimedia Society，2008，11:1658-1667.

（3）完善评估方法。床边教学内容安排好后，教师要认真负责，按时完成。教学秘书部门注意监督提醒。医院教育处将根据安排，经常深入病房检查，并给出相应评价，需要改进的应及时反馈给教师，并组织学生对教师进行评价[8]。床边教学的具体活动包括：晨会交班和值班、医疗查房、教学查房、临床实践操作、病例讨论、出科考核、教学督导[9]。

在美国这片异托邦的土地上，美国人对于许安梅以及她的家人来说是外国人，她误将信仰这一宗教术语理解成了中国人信仰的“命运”。当安梅第一次意识到特德作为美国人的不同时，她提醒自己的女儿“他是个美国人哦”，而自己女儿却亮出自己美国人的身份来回击母亲。露丝这样直白地表明美国人的同时也在更为直白地否认自己中国人的身份（Tan 107）。安梅并不是从一开始就拒绝融入美国生活的，在最小的儿子溺水失踪之前安梅的信仰仍然是基督教信仰。选择信仰基督教在一定程度上是安梅对于融入美国生活的尝试，平的意外一方面使得许安梅意识到“妄图用信仰去改变命运”是十分愚蠢的，另一方面也使得许安梅放弃了融入美国生活的尝试。

图1 无人机自动定位系统设计示意图

构建局域网的目的为完成多计算机间的时间校准和无人机定位结果的汇总。其中多计算机间的时间校准采用如下方式实现：选择一台计算机充当服务器端，提供时间基准。其他计算机充当客户端，向服务器端发出时间查询请求，并记录当前客户端时间t1。服务器端收到时间查询请求时，将其当前时间t2发送给相应客户端，客户端收到t2时，记录下客户端当前时间t3，则客户端和服务器端时间差Δt=t2-(t1+t3)/2。此过程通过局域网TCP通信实现，在采集图像前进行，为多计算机的定位结果合并提供参考。无人机定位结果的汇总是指客户端把其无人机定位结果发送到服务器端进行汇总，得到无人机整体的飞行航迹。

1.2 相机标定

本文提出了一种基于多目视觉的无人机定位方法，并设计、实现了一套系统以验证方案的可行性、效率与精度。该系统通过多计算机和多相机联合组网的分布式设计与并行处理，一方面扩大了无人机观测范围，提高了定位结果的可靠性；另一方面也提高了数据的处理效率，达到了实时处理的水平。此外，该系统在图像采集时的曝光时间确定，以及处理过程中图像上无人机的检测和无人机三维空间坐标的解算均自动完成，极大地降低了工作量和对操作人员的要求。

2.3.2 大鼠消化吸收能力相关指标的测定 给药第8天各组大鼠均禁食24 h，在第8天给药1 h后，各熟地黄组大鼠均ig 4% D-木糖溶液10 mL/kg，对照组和模型组ig等量4% D-木糖溶液，1 h后从大鼠眼眶取血，3 000 r/min离心10 min，制备分离血清，按照D-木糖试剂盒说明书进行间苯三酚显色法测定各组大鼠血清D-木糖含量。按照试剂盒说明书采用ELISA法测定各组大鼠血清GAS、MTL含量[10-11]。

[7] HOERMANN S，BORGES P V K.Robot Localization Using 3D-models and an Off-board Monocular Camera[C]∥IEEE International Conference on Computer Vision Workshops.Barcelona：IEEE，2011:1006-1013.

图2 相机外壳辅助测量标识示意图(2个标志点被遮挡)

Oloc_out=Oloc_in+T

(1)

(2)

Rout=RinRt

(3)

(4)

1.3 背景差分检测无人机

背景差分法是采用图像序列中的当前帧和背景参考模型作差来检测运动物体的一种方法，具有检测运动目标速度快、检测准确、易于实现的特点，其关键是背景图像的获取[14]。因采集图像在无人机起飞前开始，本文采用各相机采集序列影像的第一张影像作为初始背景图。基于背景像素灰度值时间分布符合高斯函数模型的假设，使用一个全局的高斯函数模型

(5)

来表示某像素由环境变化引起的当前影像与背景之间灰度值差值Idif(t)的概率分布P(Idif(t))，根据差值绝对值大小，使用阈值T1把当前帧分为背景和前景，T2确定背景更新的范围，即当Idif(t)绝对值小于等于T2 时才对背景图相应的区域进行更新。背景图使用如下更新函数进行更新

B(t)=B(t-1)+ROUND(Idif(t)w(Idif(t)))

(6)

式中

(7)

式(7)是高斯函数的一个变体，表示权值。使用该函数计算权值的依据是一定时间内，灰度值变化满足高斯分布，以当前背景灰度值作为高斯分布的均值，当前帧与背景灰度差值越大，其发生的概率越小；α是一个正常数，α和T2的值越大，背景更新越快；ROUND()表示四舍五入取整；B(t)表示t时刻背景灰度取值；Idif(t)表示t时刻对应帧I(t)与背景B(t-1)的灰度差值。

图3为α=8、T1=10、T2=14时进行运动目标检测的测试结果。从图中可以看出，本文使用的背景更新和差分方法可以有效地检测到无人机。需要注意的是，在使用Idif(t)判断前背景时，并不对其取绝对值，因为背景是天空，无人机所在的区域会变暗，而非变亮。这样，即便初始背景(第一帧)有无人机，只要无人机运动后的位置不与初始位置重合就不影响后续的检测。

图3 背景差分结果示意图

1.4 无人机定位与筛选

因无人机在图像上所成像为面状，在使用背景差分获得运动目标二值图后得到的仅仅是像素级的变化显著区域，并不具备物理含义。为了找到无人机对应的区域，这里首先使用行扫描的方法[15]对二值图进行连通域标记，并对邻近连通域进行合并，然后使用连通域的大小、包围盒宽高比、包围盒填充度(连通域大小和其包围盒面积之比)等参数对连通域进行分析筛选，找到无人机对应的连通域。

由于噪声、鸟等的干扰，实际在单张影像上得到的无人机候选连通域可能不止一个，在使用不同影像上连通域的中心点进行前方交会获得无人机三维空间坐标时需要进一步进行筛选。事实上，无人机的自主飞行是按照预先设计好的航线来进行的，此航线信息可以预先获取，假设无人机在飞行过程中不会偏离航线很远，那么可以使用定位点坐标距离预设航线的距离作为一个约束条件对交会结果进行筛选。另外，本文还使用了无人机飞行速度(大小和方向夹角)作为一个约束条件。如果使用上述约束仍然得到多个交会结果，则将重投影像点误差最小的交会点作为无人机三维空间坐标最优结果。

2 试验验证与分析

Basketball was invented by a Canadian doctor named James Naismith，who was born in 1861.（篮球是一个名叫詹姆斯·奈史密斯的加拿大医生发明的，他出生于1861年。）

测试1使用3组相机同时进行图像采集和处理测试，统计结果见表1，所得航迹如图4所示。

为了测试系统的图像采集帧率、处理实时性和无人机定位精度，进行了两个试验测试。测试1主要验证图像采集帧率和处理实时性，使用Basler相机，分辨率为2592×1944像素，镜头水平视场角约为60°；测试2用于测试系统的定位精度。

表1 图像采集与处理效率试验结果

参数计算机1计算机2计算机3相机分组1-4号5-11号12-18号图像数/张4240×44005×74387×7平均采集帧率/(fps) 12.8 11.3 11.8 处理时间/s354.790374.084379.259平均每组耗时/s0.0840.0930.087

图4 3台计算机无人机定位结果

从表1可以看出，3组相机图像同步采集帧率在10 fps以上；单组数据处理时间小于0.1 s，达到了实时处理的水平。图4为3台计算机处理得到的无人机飞行轨迹，灰色为预设航线，(a)中不同颜色的线表示不同计算机的处理结果，(b)中浅灰色线为合并后的结果，S为无人机起降位置。本次飞行仅沿内侧环形预设航线飞行，部分轨迹缺失由线塔遮挡引起。

测试2通过在一组相机公共视野内寻找两个检查点，分别使用全站仪和本系统量测检查点坐标，比较两种方法量测结果偏差来进行，结果见表2。

表2 系统测量精度验证结果 m

检查点0102XYZXYZ全站仪测量结果199.13-98.2310.62204.23-98.1910.25本系统测量结果199.26-97.8310.40204.30-98.0510.02差值-0.13-0.410.22-0.07-0.140.23

从表2可以看出，两个检查点的全站仪测量结果与本系统测量结果各坐标分量偏差均小于0.5 m，点位距离偏差分别为0.48和0.28 m。用于测试的两个相机的坐标分别为(191.57,-24.21,-0.01)和(232.09,-24.49,-0.08)，与检查点的距离约为80 m，由此可以看出，该系统百米定位精度达到了0.5 m。

在如今的数学教学中有些教师的教学观念没有及时进行更新，依然是过去的教学观念，重视对学生在课堂上的灌输式教学，对学生进行各种数学公式和原理的教育，而忽视了学生自主性的学习的培养和引导，使得学生在课堂上只能在教学的安排下进行学习，不能根据自己的想法进行学习探究，教师严重压制了学生的主动性，导致数学课堂教学效率不高，也影响了学生自身学习能力的有效培养。

3 结 语

相机标定包括内方位元素、畸变参数标定和外方位元素标定。内方位元素和畸变参数通过控制场检校获取。外方位元素使用辅助标志点过渡的方法获取。

参考文献：

广西工程建设地方标准《绿色建筑质量验收规范》（以下简称《验收规范》，DBJ/T45-068-2018）将于今年11月1日开始实施。这意味着广西开展绿色建筑工程质量验收工作将有据可依、有规可循。

嵊县气候温和，雨量丰沛，盛产各种翠竹，早在2 000多年前，就有竹篮、竹箩的编织，在光绪年间达到鼎盛时期，后来逐渐形成了典雅精美的竹编工艺特色，达到了“中外竹编第一家”的境界，外销国内外各地，发展迅速。

[2] BENALLAL M，MEUNIER J.Pose Estimation of Polygonal Object in Monocular Vision Using Parametric Equations of Vertices[C]∥IAPR Conference on Machine Vision Applications.[S.l.]：DBLP，2002:342-345.

[1] 解邦福.基于单目视觉的刚体位姿测量系统研究[D].哈尔滨：哈尔滨工业大学，2009.

[3] LIU C，ZHANG Y.3D Trajectory Reconstruction from Monocular Vision Based on Prior Spatial Knowledge[J].IEEE Sensors Journal，2016，16(3):817-822.

为实现较大范围的区域覆盖，本文采用了多台相机和多台计算机组建局域网的方式。如图1所示，无人机定位系统由数据采集端(相机)、控制与处理端(计算机)和数据传输通道(光纤、网线、路由器等)3部分构成。单台计算机和若干相机连接构成一个分组，负责目标范围内一块区域无人机的定位，包括图像同步采集、无人机自动检测与定位等。其中图像同步采集是指对运动目标进行定位时，为保证定位精度，需要控制多台相机同时曝光，以保证定位结果精度[13]。这里采用的是计算机向与其相连的多台相机同时发出触发指令的方式来实现多相机同步采集图像。多台计算机间通过网线和路由器连接，构建一个局域网。

[5] XU S，LIU M.Feature Selection and Pose Estimation from Known Planar Objects Using Monocular Vision[C]∥IEEE International Conference on Robotics and Biomimetics.Shenzhen: IEEE，2014:922-927.

[6] DOIGNON C，ABBA G，OSTERTAG E.Recognition and Localization of Solid Objects by a Monocular Vision System for Robotic Tasks[J].Intelligent Robots & Systems Advanced Robotic Systems & the Real World Ir，1994(3):2007-2014.

如图2所示，在相机的防水外壳上布置了8个控制点。在室内标定时，获得相机在室内的外方位元素(Xs,Ys,Zs)in和(φ,ω,κ)in，以及角元素对应的旋转矩阵Rin，同时，使用全站仪测出相机外壳上8个标志点的坐标使用相机外壳上的8个标志点建立一个局部坐标系，原点记为Oloc_in，计算出相机中心在该局部坐标系里的位置(Xs,Ys,Zs)loc。易知，相机中心在此局部坐标系下的坐标及相机主光轴相对此局部坐标的朝向保持不变。在室外建立的坐标系内，使用全站仪测出相机外壳上8个标志点的坐标使用式(1)和式(2)可以算出室内和室外坐标系下相机外壳标志点间的旋转矩阵Rt和标志点局部坐标系相对室内、室外坐标系原点的平移向量差T，然后使用式(3)和式(4)可以分别算出相机在室外坐标系下的外方位线元素(Xs,Ys,Zs)out和旋转矩阵Rout。

[8] LIU W，WANG Z，NING X，et al.An Object Recognition and Location Based on Binocular Stereo Vision[C]∥International Forum on Computer Science-Technology and Applications.Chongqing：IEEE Computer Society，2009:97-99.

[9] HUANG G，CHENG C.3D Coordinate Identification of Object Using Binocular Vision System for Mobile Robot[C]∥Automatic Control Conference.Nantou：IEEE，2014:91-96.

[10] 罗陆锋，邹湘军，叶敏,等.基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位[J].农业工程学报，2016，32(8):41-47.

[11] 王磊，胡超，吴捷,等.基于多相机的人脸姿态识别[J].计算机应用，2010，30(12):3307-3310.

[12] 陈磊，高升，袁宝峰,等.基于多相机的空间机械臂视觉系统[J].航天返回与遥感，2014，35(3):35-42.

[13] 冯文灏.近景摄影测量[M].武汉：武汉大学出版社，2002.

[14] 万缨，韩毅，卢汉清.运动目标检测算法的探讨[J].计算机仿真，2006，23(10):221-226.

[15] 马吉甫，高雪峰.基于扫描线的连通域搜索算法[J].福建电脑,2006(12):121.

先说园。园因砧木不同分为乔化、矮化和短枝，矮砧又分为中间砧与自根砧两种；园因建在不同地貌分为川地园、塬面园和山地园。应根据砧木、品种、密度、立地、树龄、树势等综合作出修剪研判。如果一个果园已经郁闭，仅在个体上做文章显然是不够的，必须通过间伐才能从根本上解决群体光照问题。同理，在一株树上先要观察并决定大枝的去留，然后才是枝组的精细修剪。