基于Leap Motion的人机互动系统

自动手势识别技术已经获得越来越多的关注，该技术可为许多领域的应用开辟道路，例如：人机交互（HCI）、计算机游戏、机器人技术和自动手语解释［1］。上述例子可以采用基于手套和基于视觉的方法来解决［2-3］，其中采用基于手套的方法［4-6］会影响到人机互动的方便性和自然性，而以视觉为基础的手势识别方法更加方便和自然。目前基于视觉技术的方法有三种：一是基于手轨迹角度和角度变化速率的手势建模方法［7］；二是在视频的时间范围内通过计算机位置偏移量来提取动作模式进行手势识别［8］；三是通过三个阶段设计一个手势识别系统：检测、跟踪和识别［9］等。

本文采用Leap公司制造的体感控制器Leap Motion作为手势识别的采集设备，Leap Motion是最近推出的基于视觉技术的传感器，Leap Motion的目标是提取手势的3D数据［10］。使用Leap Motion进行手势采集，能够直接计算指尖和手方向的位置。将这些相关的信息传输到计算机上，在计算机中通过软件对传输过来的采样数据进行存储，并通过对其进行特征提取，简化后续的神经网络辨识和分类器的构建。

1 系统设计

本文采用特征提取的算法来识别手写阿拉伯数字0～9，这些数字都是通过Leap Motion采集的。计算机将采集的数字先进行预处理，然后进行数字的特征提取。根据特征提取规则，不同数字将得到不同的特征值组合，利用获取的特征值组合可以作为后期训练识别器的样本值，构建用于识别手写阿拉伯数字0～9的识别器。由于篇幅有限，本文就不讨论识别器的构建。系统的工作原理图如图1所示。

浙江省新一代海洋气象业务平台已作为浙江省气象台海洋气象预报预警业务的主要工作平台投入业务应用,明显提高了现代海洋预报的服务能力。该平台具有以下特点:

  

图1 系统的工作原理图

1.1 数据采集

Leap Motion有两个摄像头，可以从不同的方向拍照，在三维空间中获取手势信息。Leap Motion能够感知手的手指的位置和运动，以及手掌的运动和曲率。该传感器的检测范围在25 mm到600 mm之间。图2为手模型和Leap Motion的坐标系统图［11］。Leap Motion本身提供的系统软件可以将手部运动形象化，作为屏幕上的一种骨骼运动，可以用来观测当前的手势移动。每个用户用右手的食指写下字母或数字（实验都是采用右手进行）。每个信息的三维坐标（x，y，z）都由Leap Motion捕获，相应的手势由食指的运动轨迹表示。使用Leap Motion进行实验数据采集的图片如图3所示。阿拉伯数字0～9都是通过这样的方式进行采集得到。将其中一组采集的数字0～9通过MATLAB软件还原如图4所示。

(1)虚拟水战略对水资源消费的影响。通过实施虚拟水战略可以减少新疆的农业用水量，情景B对棉花水资源消费影响最大，提高单产后2020年与2025年棉花水资源消费分别减少62. 23亿m3、72. 21亿m3，情景E对种植业水资源消费影响最大，调整种植业结构与采用高效节水技术后2020年与2025年种植业水资源消费分别减少87. 52亿m3、115亿m3。

  

图2 手模型和Leap Motion的坐标系统图

  

图3 Leap Motion进行实验数据采集

  

图4 Leap Motion进行实验数据采集

1.2 特征和特征值

为了有效地区分手写数字，必须进行特征提取。特征提取的原则：（1）选定的特征应包括有用信息；（2）特征值的抽象方法应该简单快速；（3）各特征值之间的关联度越小越好；（4）特征值的数量应尽量少；（5）本征值的抗干扰能力强。根据上述各项原则，本文提出了一种数字字符特征值和特征提取方法。根据对数字的研究，数字0～9可分解为左凹、右凹、上凹、封闭、斜封闭、整体封闭和无等7种状态，其中前六种基本状态见图5。对应每个数字的特征和特征值如下表1所示。各个特征解释如下：

 

表1 数字的特征和特征值

  

特征 左凹 右凹 上凹 封闭 斜封闭 整体封闭 无特征值 1 2 3 4 5 6 0

整体封闭：在这种情况下，有两个节点。从扫描算法中可以判断左右区域是闭合的，上面的节点位于数字矩阵的顶部区域，下面的节点位于数字矩阵的底部区域。无：表明该特征和前面定义的都不符合。现将上述的特征类别举例如下：

［3］ ZHANG J， LI W， OGUNBONA P O， et al.RGBD-based action recognition datasets： A survey ［J］.Pattern Recognition， 2016，60： 86-105.

右凹：在这种情况下，当垂线与数字相交时，有两个节点，垂线被认为是边界线。左边区域闭合，右边区域是不闭合的。

上凹：在这种情况下，只有一个节点位于数字的中间，可以从扫描算法中判断左右区域是闭合的。

12月10日3版《身边的创意，为生活注入亮点》，该标题用“……为生活增加亮点”为宜；注入亮点，此搭配有误。

封闭：在这种情况下，有两个节点，可以判断左右区域都是封闭的。其中一个节点位于数字矩阵的顶部区域或底部区域，另一个节点必须位于数字矩阵的中间区域。

充分运用SQLite数据库的功能，开发适用于实时动力学仿真平台的模型数据库。通过C-API与实时动力学仿真平台相连接，实现仿真平台访问数据库，获取零件几何信息、基本物理属性信息和装配约束信息等，完成综合传动装置的虚拟装配，保证动力学模型的真实性。

斜封闭：在这种情况下，有两个节点。从扫描算法中可以判断左右区域是闭合的，但上面的节点并不位于数字矩阵的顶部区域，下面的节点位于数字矩阵的中间区域。

左凹：在这种情况下，当垂线与数字相交时，有两个节点，垂线被认为是边界线。将数字分作左右两个区域，左边区域不闭合，右边区域是闭合的。例如数字“7”。（闭合的意义可以定义为：从数字7中间做垂线，算法被设计成逐行搜索。如果算法发现某条直线上没有曲线点，就会认为该区域没有闭合。）

通常情况下函数动点问题题目较长，题意也较为复杂，使学生逐渐形成相应的恐惧感。也就是学生在刚刚面对函数动点问题时，在心理上对自身进行了相应的否定。在长时间的影响下每当其遇到函数动点问题时，心理上会认为这一类问题难度相对较高，自己不能对其进行解决。针对学生的这种现状，教师应在学生刚刚接触到动点问题期间，结合实际教学需求与学生知识掌握情况制定完善的教学计划，实施专题训练，从低到高、从浅至深对各种问题类型进行总结，对合理的教学模式进行运用，培养学生函数动点问题解题积极性的形成，并在其问题解答期间形成相应的征服感。

根据上述的特征分类可以知道，数字4属于斜封闭特征。数字5的上部分是右凹，下部分是左凹。数字8的上下部分是两个封闭。

1.3 手写数字的特征提取

本文提出的数字特征信息可以用三个变量来表示，分别是A、B、C。其中A对应第一个特征值，B对应第二个特征值，C对应第三个特征值。特征值的提取步骤如下：

步骤1：

将输入数字图片的数值矩阵进行删除无用区域和二值化处理［12］。

  

图5 6种基本状态的特征图

特征值C表示手写数字的下半部分，要求下部分至少有两个节点。在这种情况下，将根据表1进行识别，以获得相应的状态值。否则，说明该部分不用于识别，因此让C＝0。例如，图8中的数字“6”，C＝4。

在完成煤壁填充后4种小颗粒之间形成黏结键，便可以形成一个由众多小单元组成的煤壁物理模型。当黏结的颗粒群受到外部作用力时，依据离散单元法，根据牛顿第二定律在单位时间步长内对颗粒的位移与转角进行更新，此时黏结键上会受到力与力矩的作用，当达到设定的黏结键最大法向应力σmax和切向应力τmax时，黏结键断裂，以此来模拟煤壁的截割过程。颗粒黏结参数设置如下：法向刚度系数4×107 N/m；切向刚度系数4×106 N/m；最大正应力2.1×106 Pa；最大剪应力2.1×106 Pa。

计算从数字上方画条中间线通过数字得到的节点个数作为第一个特征值，用变量A来表示该部分的特征值。例如：数字4的中线垂线节点数是1个，则A＝1；数字8的中间交点数是3，则A＝3。如图7所示。

  

图6 数字3

步骤3：

数字按水平线分为上下两部分。因此上半部分和下半部分的特征取值分别用变量B和C来表示。

由于特征值B表示手写数字的上半部分，因此在上部分中至少需要一个节点。在这种情况下，将根据上面的表1进行识别，以获得相应的状态值。否则，说明该部分不用于识别，因此，让B＝0。例如，图8中的数字“4”，B＝5。

例如，图6（1）所示是未进行处理的手写数字3。图6（2）是处理后的数字3，其中和数字无关的外围区域被删除。

例如，图8中的手写数字“4”，因为节点为2，上半部分的特征状态为斜封闭，下部分特征状态为无，因此B＝5，C＝0；图8中手写数字“6”，因为节点为2，上半部分为无，下部分特征状态为封闭，因此B＝0，C＝4；图9中手写体数字“2”，因为节点为3，上层特征状态为左凹，下部分特征状态为右凹，因此B＝1，C＝2；图9中的手写数字“3”，因为节点为3，上半部分的特征状态为左凹，下部分特征状态为左凹，因此B ＝ 1，C ＝ 1。

  

图7 数字4和8

  

图8 数字4和6

  

图9 数字2和3

1.4 建立模式库

将提取的特征值送入神经网络训练，可以生成神经网络分类器。后面将待识别的数字提取特征值后就可以送入分类器进行数字识别，由于篇幅有限，神经网络识别部分就不在这里介绍。

2 结束语

文中提出了基于Leap Motion的人机互动采集系统。利用Leap Motion精度高和使用方便的优势进行手写数字的采集，然后通过计算机进行采集数据预处理和特征提取。由于特征提取后每个手写数字由三个特征表示，因此可以简化模式库。

参考文献：

职业拳赛更像一个名利场，圈子的中心就是那些明星职业拳手。菲律宾拳王帕圭奥每场比赛收入1.7亿元人民币、“漂亮男孩”梅威瑟巅峰时期单场进账1.95亿元人民币。但现在谈论邹市明的钱景还为时过早。一场赛事的收入依靠门票、转播权、广告赞助和授权产品，但在中国，根据李胜的经验，除了广告赞助外，其他基本可忽略不计。“没让你给钱播比赛，已经是一件很好的事了。”

［1］ZHOU Y， JIANG G，LIN Y.A novel finger and hand pose estimation technique for real-time hand gesture recognition［J］.Pattern Recognition， 2016，49： 102-114.

［2］PISHARADY P K， SAERBECK M.Recent methods and databases in vision-based hand gesture recognition： A review［J］.Computer Vision and Image Understanding， 2015，141： 152-165.

步骤2：

文化艺术中心以陶瓷作为主要材料，立面装饰采用大量陶板、陶片等元素，彰显福州市打造21世纪海上丝绸之路战略枢纽城市的丰富历史文化。竹子也是主要材料，每个场馆弧形曲线连廊的墙面采用竹皮材料，场馆内部地面、墙面和座椅等也大量使用竹制材料，能有效吸音，减少场馆内的回音。

A certain phonological awareness is vital for learning to read.And the progress of reading skills also play an essential role in enhancing phonological awareness.

［4］LAMBERTI L， CAMASTRA F.Handy： a real-time three color glove-based gesture recognizer with learning vector quantization［J］.Expert Systems with Applications， 2012，39（12）： 10489-10494.

［5］JU Z， LIU H.Human hand motion analysis with multisensory information［J］.IEEE／ASME Transactions on Mechatronics，2014，19（2）： 456-466.

［6］TUBAIZ N， SHANABLEH T， ASSALEH K.Glove-based continuous Arabic sign language recognition in user-dependent mode［J］.IEEE Transactions on Human-Machine Systems， 2015，45（4）： 526-533.

［7］BEH J， HAN D， KO H.Rule-based trajectory segmentation for modeling hand motion trajectory［J］.Elsevier Science Inc， 2014，47（4）： 1586-1601.

［8］LU G， ZHOU Y， LI X， et al.Efficient action recognition via local position offset of 3D skeletal body joints［J］.Multimedia Tools and Applications， 2016，75（6）： 3479-3494.

［9］MAQUEDA A I， DEL-BLANCO C R， JAUREGUIZAR F， et al.Human-computer interaction based on visual handgesture recognition using volumetric spatiograms of local binary patterns［J］.Computer Vision and Image Understanding， 2015，141：126-137.

［10］KATAHIRA R， SOGA M.Development and evaluation of a system for AR enabling realistic display of gripping motions using Leap Motion controller［J］.Procedia Computer Science， 2015，60： 1595-1603.

［11］严利民，杜斌，潘浩，等.基于Leap Motion的三维动态手指姿势识别［J］.激光与光电子进展，2016（11）：86-92.

［12］张猛，余仲秋，姚绍文.手写体数字识别中图像预处理的研究［J］.微计算机信息，2006，22（6-1）：256-258.

天脊集团立足供给侧结构性改革，按照现代农业的需求，先后开发并向市场投放了肥效好、受欢迎、需求旺的硝酸铵钙、硝酸钾、土壤调理剂以及大量元素水溶肥、中量元素水溶肥、液体肥等一批新型肥料，延伸加固了天脊产品链条。