深度分组检测技术数据整合思路分析

1 引言

DPI（Deep Packet Inspection，深度分组检测）是一种基于应用层的流量检测和控制技术，当IP数据分组、TCP或UDP数据流通过基于DPI技术的带宽管理系统时，该系统通过深入读取IP分组载荷的内容来对OSI七层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策略对流量进行整形操作。所谓“深度”是和普通的报文分析层次相比较而言的，“普通报文检测”仅分析IP分组4 层以下的内容，包括源地址、目的地址、源端口、目的端口以及协议类型，而DPI 除了对前面的层次分析外，还增加了应用层分析，识别各种应用及其内容。

2 DPI关键技术

2.1 DPI技术的分类

DPI将网络上的数据报文根据五元组分为一个个的应用流，并通过识别技术对应用流中的特定数据报文进行探测，从而确定应用流对应的应用或者用户的动作。针对不同的协议类型，识别技术可划分为以下3类。

2.1.1 基于“特征字”的识别技术

不同的协议都有其特殊的指纹，这些指纹可能是特定的端口、特定的字符串或者特定的Bit 序列。

如图2，利用几何画板进行验证：给定一个锐角A，拖动点B改变三角形的大小，对边与邻边的比值不变，即锐角A的正切值tanA是一个常数；拖动点A改变锐角A的大小，对边与邻边的比值改变，锐角A越大，tanA的值越大.

骨干网间出口：覆盖出网流量，包含出网流量，分析重点可做出网流量监控分析；可做流量缓存，使流量尽量本网化。相关系统有域名管控、僵木蠕系统和非法VOIP等系统。

2.1.2 应用层网关识别技术

有些业务的控制流和业务流是分离的，业务流没有任何特征。这时就需要采用应用层网关识别技术。

3种识别技术分别用于不同类型协议的识别，无法相互替代，综合运用了这3种技术，提高检测效率和灵活性。

然而对于每一个协议，需要有不同的应用层网关对其进行分析。

2.1.3 行为模式识别技术

基于对终端已经实施的行为的分析，判断出用户正在进行的动作或者即将实施的动作。行为模式识别技术通常用于无法根据协议判断的业务的识别。

对于应用层网关需要先识别出控制流，并根据控制流的协议通过特定的应用层网关对其进行解析，从协议内容中识别出相应的业务流。

2.2 深度分组检测技术功能

2.2.1 业务识别

业务识别有两种方法，一种是对运营商开通的合法业务，另一种是运营商需要进行监管的业务。

对运营商开通的合法业务可以通过业务流的五元组来标识，如VOD业务，其业务流的地址是属于VOD服务器网段的地址，其端口是一个固定的端口。系统一般采用ACL的方式，识别出该类业务。

运营商需要进行监管的业务需求DPI技术，通过前述的业务识别方法，通过对IP数据分组的内容进行分析，通过特征字的查找或者业务的行为统计，得到业务流的类型。

2.2.2 业务控制

通过DPI识别出各类业务流之后，根据网络配置的组合条件，用户、时间、带宽、历史流量等，对业务流进行控制。控制方法包括：正常转发、阻塞、限制带宽、整形、重标记优先级等。

2018年是“美丽中国全域旅游年”，要求对旅游目的地整体打造与美丽乡村、社会主义新农村建设的完美契合，乡村旅游备受关注。江苏省乡村旅游的发展一直走在全国前列，乡村旅游的业态包涵农、林、牧、副、渔等，已经形成了类型丰富、特色鲜明、复合性强的乡村旅游产品，成为江苏旅游“美丽乡村”的重要增长极。同时，江苏省地处沿江、沿海、长三角等区位，随着省内高速铁路的快速发展，一个半小时的高铁交通圈已经逐步形成，这无疑为江苏乡村旅游的发展添上了一双羽翼。通过高铁进行落地自驾的模式出现在江苏旅游市场上，逐渐受到自助旅游爱好者的追捧，也为乡村旅游提供了新的发展路径。

于是他蹲坐在她的对面，小心地啃着，动作很绅士，几乎不留下一点碎屑，吃完后又伸出他的小爪子，在嘴上轻轻按了两下，抬起头来见她在望他，就不好意思又欢喜地笑了一笑，她突然发现他的嘴巴是那么小巧精致，呈一个完美的倒三角形状，多么可爱，她心里顿时爬着一股痒痒的欣然。那一刻她记了好多年。

IDC：靠近内容，包含已引入内容的全部流量，分析重点可做引入内容流量流向分析；可监控不出网流量。相关系统有综合网关、不良信息监测和GN流量控制。

DPI的业务统计功能是为了直观的统计网络的业务流量分布和用户的各种业务使用情况，从而更好的发现促进业务发展和影响网络正常运营的因素，为网络和业务优化提供依据。

3 DPI技术在运营商运用的现状及困境

3.1 DPI技术在运营商网络现状

在各运营商网络系统中DPI分析数据分组7层内容，是实现数据管道管理和流量经营的基本要素，DPI的实现的功能包括业务识别、报文过滤、生成日志、业务统计和流量控制等，DPI可分为数据分析和流量管控两类，流量管控类通常难以整合，但可以叠加部分数据分析系统功能。

DPI广泛应用于多种业务和流量分析系统，完成流量识别和处理的第一步。进而实现如图1所示的功能。

3.2 DPI大量、快速部署困境

前期运营商为满足业务需求及部委考核大量、快速部署DPI系统，为现网运营带来三大问题，DPI部署详见图2所示。

与飞机制造、大型能源装备制造业不同，印刷行业的集中度还不够高，是一个以中小企业为主力军的行业。“长尾理论告诉我们，任何不方便都可以成为商业机会。未来，多种印刷方式的并存是必然。”徐建国理事长解释说，协会需要扮演的角色是，把行业可能遇到的情况、影响，发生的改变，可参考路径等告诉大家，做称职的“天气预报员”。至于具体怎么去做，还是要由企业自己做出判断。

3.2.1 位置和功能部署不统一

插秧机的基本构造由发动机、传动系统(变速箱)、行走机构(转向离合器、驱动轮)液压仿形系统、操纵和调节机构、取秧量调节机构、移箱器等组成。出厂时，将这些部件包装运到各地，购机户应在技术人员的指导下，按插秧机说明书的要求进行安装。

目前大部地区秋粮作物处于产量形成的关键期，各地要密切关注天气，做好作物后期田间管理，采取清除杂草、剔除空秆等措施增加通风透光率、改善田间环境，根据土壤墒情和作物长势合理施肥，缺墒农田及时灌水，同时加强病虫害的监测防治，促进玉米、一季稻、大豆等秋收作物充分灌浆和乳熟成熟。江南、华南地区应根据晚稻长势进行田间水肥管理。

DPI系统烟囱式部署，存在多点建设，DPI位置重复、同位置建设多套DPI，功能重复的现象，导致两个问题。

图1 DPI实现的功能

图2 DPI部署现状

问题1： 运维难度加大，维护工作量大；占用机房；每个系统都要扩容；光路衰减等；

“哦，是吗？”我爹脸上一亮，如释重负的样子，说，“哎呀，熊老的孙子啊，没想到。”说完就介绍起来。我爹的毛病就是说话不看对象，讲了半天，我也就听明白了熊老是著名数学家，至于他研究的是什么，什么无穷极，就是杀了我，我也弄不明白。

根据网络不同位置的不同流量特性，全网共部署5个DPI关键点：PS侧、IDC、省网出口、省网网间出口、骨干网出口，5个点的流量各有侧重、缺一不可，5个关键点之外的位置原则上不允许建设DPI，从而对位置点进行把控避免浪费机房信息及重复覆盖。主要位置详见图4所示。

那是我刚刚来西山的时候，是个冬天。大冬天的，那天天上下着些碎小的雪花，飘飘零零的。天冷啊。我从咱平南老家起身时穿的衣服不多，身上带的钱也不多，干粮早用了了。

3.2.2 业务识别不统一

流量识别缺乏准确性和统一标准，无法对全网数据流量进行全面、准确的分析。

业务划分不一致：各厂家分类不同、各部门分类不同（网络、业支）；

识别能力不一致： 可识别子业务种类和数量不同、子业务识别的精细程度不同。

3.2.3 数据共享不统一

目前大部分分析及应用系统只能直接从DPI系统提取数据，数据残缺，呈现不完整。现网未实现DPI数据的整合和统一共享： PS侧一般直接从Gn监测系统采集数据，无精确位置信息，数据分析不完整。

在智能加工机床研发方面，研究重点在于监控技术集成、知识库与专家系统、远程诊断以及智能刀具与工装技术[11-12]等，如图9所示。

4 DPI整合思路

4.1 整合需求

全网DPI分为两种类型：数据分析类、流量管控类，分别存在不同的整合需求。

数据分析类对信息的全面性要求高，位置一般可以变化，DPI可进行横向的位置整合和纵向的功能整合，针对识别不一致问题，需推进标识整合，分析类DPI还可进一步统一数据共享。

流量管控类对流量的全覆盖要求高，位置相对固定，DPI通常仅可进行同位置的功能整合，存在业务分类和识别不一致问题，需推进标识整合。

4.2 整合整体思路

现阶段烟囱式架构各系统独立建设DPI采集与识别、数据存储、数据分析平台，通过制定全局复用方案，技术推动实现各系统共用DPI采集与识别，各套系统独立建设数据存储、数据分析的第一阶段，并通过多部门协作，数据开放，管理推动实现各系统共用DPI采集与识别，并对识别后的日志数据做统一存储，各套系统独立建设数据分析的第二阶段。详见图3所示。

4.3 整合关键点及案例

4.3.1 位置整合

问题2：投资浪费，仅覆盖GE（双向）链路光放/分光器及DPI设备达到6万，覆盖10 GE（双向）光放/分光器及DPI设备可达到30万，重复建设投资浪费相当大。

现阶段运营商对这五个DPI关键点进行分析相关系统整合如下。

三个人对突兀出现的我，惊奇了约一分钟之后，一个满脸横肉、身材臃肿的胖子突然扑过来将我抱住，疯狂地摇晃着身子，口中发出吃吃不断的笑声。他说，何泽，我说这是一棵金弹子树吧，你他妈的偏不相信。

图3 统一DPI整合思路

图4 统一DPI位置整合点

PS侧：靠近用户，包含用户手机号、用户位置、移动性管理信令，分析重点可做用户粒度的业务分析与监控。相关系统有数据业务分析、信令监测及投诉和手机防病毒等系统。

2.2.3 业务统计

省网出口：省粒度的流量管理，包含出省流量，分析重点可做出省流量分析；可做流量缓存，使流量尽量本省化。相关系统有WLAN日志流控、信息安全管理和异常流量清洗等系统。

省网网间出口：覆盖出网流量，包含出网流量，分析重点可做出网流量监控。相关系统有不良信息检测、省网网间流控和非法VoIP等系统。

面对以上错误的认知，作为麻醉医生一定要有所行动，积极给予专业帮助。需谨记剖宫产镇痛的关键是充分有效，原则是尽量减少母体胎儿的阿片类药物暴露。为避免胎盘转运，最好在夹闭脐带之后给予镇痛药物。目前，临床实际中较为常用的剖宫产术后镇痛方式有如下几种：

通过多个系统间的DPI复用，实现网络同一位置的多套DPI合并为一个。DPI复用方式指DPI如何给应用系统提供所需数据，按照系统所需数据内容和格式的不同，通过4种方式实现DPI复用（分光、原始报文、会话级、统计级），如表1所示。

根据“特征字”的位置可以被分为：固定位置特征字匹配、变动位置的特征匹配，而根据匹配的方式可分为：特征字符串模式和正则表达模式。

4.3.2 功能整合

下肢深静脉栓塞(DVT)是指下肢深静脉特别是腓肠肌部位静脉血栓形成，全血液运行障碍，从而出现患肢肿胀疼痛等一系列症状和体征［1］。它是妇科盆腔手术后常见并发症之一。有研究报道，妇科盆腔术后DVT形成的发生率西方国家为11% ～29%［2］;国内报道为0.13% ～6.78%［3］。由于近年来临床妇科术后发生DVT明显增多，曾经由于血栓脱落引起肺栓塞致死亡事件发生，严重威胁患者的生命［4］。故引起临床医师高度重视，在手术前后采取了一系列预防措施及护理，能有效防止DVT的发生。

现阶段多数设备提供商针对运营商的技术规范对设备产品进行升级，根据统计，现网一套DPI最多支撑了9套应用系统，实现功能整合。

4.3.3 标识整合

以“秦地月”“玉关道”“天涯”“雪花”“胡沙”“青冢”等边塞风物来烘托昭君出塞的凄凉，诗人回溯昭君故事，面对红颜空老还是出塞远嫁的抉择，昭君选择了后者，单纯的伤感中多了几许豪情，高远的自然时空意象衬托了昭君果敢坚毅，凄美辽阔的意境让读者回味无穷。

不同部门的需求和目的不一，导致不同应用系统对业务的标识角度和分类不一致。业务支撑角度分类：从内容的角度分类，给用户打上标签用于经营分析。网络角度分类：从应用的角度分类，为网络运维和调整提供参考。

业务大类划分与不同系统的需求紧密相关，难以统一，但最细粒度的业务可保持一致，DPI系统直接标识最细粒度业务，并采用标准格式，对上层应用提供统一数据服务，各上层应用系统根据自身需求可灵活制定更高级别的分类方案。

运营商现在运行的DPI识别算法是厂家核心技术，互相不公开，无法通过规范识别算法统一业务识别结果，现通过统一集中招标和集采的方式按照DPI集团规范推动厂家整改实现统一。

4.3.4 数据共享

通过以IMSI、手机号码为索引，建立数据关联，为上层应用提供全信息呈现。

表1 DPI复用四种方式

分发类型 复用方式 DPI工作方式 适用应用系统流量分发 分光器分光 完全复制光路信号并分发给应用 系统系统特征库特殊，不易整合指定原始报文镜像 过滤特定报文并分发 系统明确需要某种报文，且报文过滤策略简单日志/结果分发 会话级数据复用 生成指定格式的流量日志并分发 系统以分析流量日志为主统计级数据复用 统计指定的流量指标并分发 系统需要简单明确的统计指标

DPI数据的统一存储与呈现，大数据应用系统直接从共享平台提取所需数据，进行分析实现业务增值及安全监控。

共享平台把统一存储、清洗、关联后的DPI数据、上网日志等数据，通过数据共享接口提供给综合分析系统，减少综分对DPI数据采集和维护成本逐步实现数据共享平台，支撑大数据应用。

运营商利用大数据技术集中保存DPI数据，对数据进行清洗和融合关联，建立融合后数据库，并针对应用层大数据分析的不同需求，定制字段，输出数据，为进一步的“大数据”分析提供统一呈现，从而实现数据共享。

5 结论及未来工作

随着移动互联网业务的高速发展以及社会各阶层对信息安全认识的逐步提高， DPI整合后，实现了网络全面覆盖，为运营商分析流量经营，网络质量提升、信息安全、用户服务支撑等运营工作提供了数据深度挖掘和分析的基础。

相信统一DPI平台的搭建将全方位分层次地对用户的业务和流量进行深入多维度的分析研究，未来将基于研究成果创造出更多更有价值更安全的新业务功能，从而为用户提供可靠优质的服务。

参考文献

[1] 吴玉, 朱洪亮. 局域网流量识别与控制系统的研究与改进[J].北京电子科技学院学报，2014(17):32-36.

[2] 郭天翔. 面向流量经营的互联网智能链路规划与设计[D]. 浙江工业大学, 2015(S1):55-56.

[3] 崔燕, 汪斌强, 陈庶樵, 张震. 基于行为特征加权的P2P流识别方法的研究[J]. 计算机工程与设计, 2009(1):23-24.