特征选择方法中三种度量的比较研究

0 引 言

数据挖掘方法能够从数据中获取到潜在的有效信息，在金融预测、模式识别等多个领域得到了广泛应用。随着互联网和生物信息学技术的不断进步，数据朝着更大规模的方向发展，并带来了“维度灾难”等问题[1]。解决上述问题的有效方法之一是降低数据集中特征的维数。特征选择作为数据挖掘和机器学习中的重要研究内容，其通过删除数据集中的无关和冗余特征，达到有效的降低特征维数，提高分类的准确率和效率的目的，并且具有去噪、防止机器学习模型过拟合的作用[2]。

现有的特征选择方法主要可以分为过滤方法、封装方法和嵌入方法[3]。封装方法使用预先选定的机器学习方法作为评价特征集优劣的准则，存在时间复杂度高的问题。嵌入方法则将特征选择和机器学习算法的训练过程相结合。过滤方法不依赖特定的机器学习方法，具有运行效率高的特点，适用于解决高维数据中的特征选择问题。本文主要针对过滤方法进行研究。

搜索策略和度量的选取是过滤方法的两个重要研究内容。学者们提出了基于一致性、基于距离、基于信息论等多种度量，并据此提出了多种评价函数[4-6]。当前研究者们重点关注特征选择方法的设计，实验常用数据集主要有基因生物数据、图像数据和文本数据等[7]。据作者调研，目前尚无针对不同度量在不同类型数据上可能存在的效果差异性的研究。本文选取常用的三种度量——线性相关系数、对称不确定性和互信息，并结合经典的特征选择方法，对这3种度量应用到不同类型数据集上的效果进行研究。

基于相关性的快速特征选择方法是一种经典的特征选择方法，其在多种数据集上都具有较好的效果，并且对于高维数据具有较快的运行效率。本文将上述不同的度量应用于基于相关性的快速特征选择方法中，通过实验验证对不同度量在基因生物数据和图像数据上效果的差异，并对度量和数据类型之间的关系进行研究。

本文第二节为相关工作，对目前影响较大的特征选择方法和度量的应用进行介绍；第三节描述特征选择中的3种度量和基于相关性的快速特征选择方法；第四节是实验数据集和实验结果，第五节为总结。

1 相关工作

变量间的相关关系在机器学习和模式识别领域得到了广泛的研究。研究者们提出了多种度量对变量间的相关性进行挖掘，目前而言，变量之间的相关关系主要分为线性相关和非线性相关两类。早期的特征选择方法一般应用马氏距离、相关系数等线性度量[8]。文[9]使用相关系数、Wilcoxon秩和检验两种度量对基因数据中的特征关系进行挖掘。文[10]提出了最小乘方错误和最大信息压缩指数两种线性度量并应用于无监督的特征选择方法中，取得了较好的效果。然而，现实世界中的数据并不总是满足线性关系，对数据间线性关系的假设并不完备[11]。针对这种情况，学者们提出了多种非线性相关的度量，其中基于信息论的度量被认为是最有前景的度量，信息增益[12]、互信息[13]、归一化互信息[14]和条件互信息[15]等被应用到特征选择中，取得了不错的效果。

为了验证本文提出的3种度量在基因和图像数据上选取特征的分类效果是否存在差异，选取8个数据集进行实验研究。由于对选取的数据集无法事先得知最优特征子集，同时为了增强实验的说服性、避免实验结果的偏置，在不同数据集上应用本文提出的3种特征选择方法FSCC、FSSU和FSMI分别选取10，20，30，40维特征，对3种不同特征选择方法选取特征差异性进行比较。由于对数据集我们没有先验知识，当前特征选择工作一般使用分类器的准确率对最终选取的特征集优劣进行评价。本文使用常用的朴素贝叶斯(Naïve Bayes, NB)和支持向量机(Support Vector Machine, SVM)分类器，统一使用10-fold交叉验证得到3种特征选择方法选取不同维数特征的分类准确率。

对圈舍进行不定期的消毒处理。在预防工作中，管理人员要加强对饲养圈定期消毒，并对消毒处理的情况及时记录。在布鲁氏病菌的防控中，借助科学技术和信息技术，针对圈舍的检查情况建立相应的数据库，将日常检查的数据以及羊的生长情况的资料录入数据库中，借助大数据分析的手段加强对圈舍的情况管理。在羊的成长过程中，要加强对圈舍的用品进行消毒，对于有病菌的用品要及时彻底根除。

针对上述问题，马尔科夫毯首次被Koller等人应用到特征选择中，取得了很好的效果[20]。随后的学者们对马尔科夫毯方法进行了广泛的研究[7，11，21]。其中，论文[11]提出一种基于相关性的快速特征选择方法，并对特征选择中的基本问题进行了定义。后续研究者在此基础上进行改进并应用到不同的特征选择任务中[7，22]。从算法效率和选取的特征子集的分类效果两方面来看，基于相关性的快速特征选择方法具有一定的优势。

2 特征选择中的度量和方法

首先对本文中使用的符号进行定义，给定特征集F={f1,f2,…,fm,c}，其中特征数为m，样本类别为c，包含该特征集定义特征的样本数为n。

2.1 3种度量

2.1.1 线性相关系数

在当前阶段，要想确保变电站安全稳定运行，就必须要对其进行定期的运行维护。可以说，电气设备是变电站最为重要的一个环节，电气设备的正常运行具有十分重要的作用，直接影响变电站能否稳定工作。变电站的相关电气专职工作人员要不断学习专业技术和专业方法来进行设备的运行维护以及检修，注意相关的安全隐患，从而减少设备发生故障的几率，保证相关设备能够稳定运行对于变电站具有重要意义。以下简要地阐述变电运维现场安全工作的要点及有关措施，希望可以给有关企业和部分可供参考之处。

线性相关系数又称相关系数或者Pearson系数，是最常见的随机变量间相似性度量，得到了广泛的应用。但是，它只能对变量间的线性相关性进行度量。给定任意特征fi和类别c，相关系数具体定义如下。

7)while Forder≠∅

 

(1)

其中，fk,i是第k个样本的第i维特征；是第i维特征在所有样本上的均值；ck表示第个样本的类别。若特征与类别间完全线性相关，则ρ(fi,c)值为1或者-1；若特征与类别间完全不相关，则ρ(fi,c)值为0。故|ρ(fi,c)|值在0～1间变化，|ρ(fi,c)|值越大表示特征与类别间的相关性越强，特征对分类的贡献越大，且相关系数满足对称性|ρ(fi,c)|=|ρ(c,fi)|。特征与特征间关系类似，|ρ(fi,fj)|值越大，表示特征间的相似性越强。

2.1.2 对称不确定性

信息熵作为信息量的重要度量得到了广泛的应用。研究者们基于信息熵理论，提出了很多衡量变量间线性和非线性关系的度量，如信息增益、对称不确定性、互信息和条件互信息等。给定随机变量X，其熵定义为：

 

(2)

其中，P(xi)为变量X的先验概率。在获取观测值Y后，变量X的条件熵定义为：

 

(3)

其中P(xi|yj)为变量的后验概率。给定上述定义，信息增益定义为：

IG(X|Y)=H(X)-H(X|Y)

(4)

因为不均衡数据集中信息增益更倾向于选取高频特征，所以需要使用相应的熵值对其进行归一化来修正。由此提出对称不确定性的定义：

 

(5)

对称不确定性满足对称性，即SU(X,Y)=SU(Y,X)，通过添加熵值的约束补偿了高频特征的信息增益值并且得到归一化的值。SU(X,Y)值为1，表示变量X与变量Y间完全相关；值为0，表示两变量独立。

2.1.3 互信息

互信息也是一种基于信息论的度量，可以对非线性关系进行度量。与上述两种度量类似，其也满足对称性。给定随机变量X和Y，若X、Y为离散型随机变量，则其互信息定义为：

 

(6)

若X、Y为连续型随机变量，则其互信息定义为：

冗余特征的存在不仅增加了机器学习模型的时间复杂度，而且对最后的分类任务有干扰作用，也应该被去除。基于相关性的特征选择[18]、最小冗余最大相关[19]等方法可以对冗余特征进行处理，然而其使用的贪心序列搜索、最优搜索等搜索策略的时间复杂度为O(n2)，使得这些方法很难应用到高维数据的特征选择中。

 

(7)

两变量间互信息值越大，表示变量间相关性越强。MI(X,Y)为0，则表示两变量独立。

2.2 基于相关性的快速特征选择方法

首先对数据中特征与类别间的相关性以及特征与特征间的相关性进行定义。

定义1 (特征-类别相关)特征fi∈F与类别c间的相关性定义为FC相关，使用FC(fi,c)表示。

定义2 (特征-特征相关)两维特征fi和fj之间相关性定义为FF相关，使用FF(fi,fj)表示。

算法1：

本文分别使用线性相关系数、对称不确定性和互信息来定义FC相关和FF相关，并应用于算法1中，得到的特征选择方法分别称为FSCC、FSSU和FSMI。

算法1中主元素为待选特征集中FC(fi,c)值最大的特征，每次迭代均选取FC(fi,c)最大的特征添加到最优特征集中。然后利用该主元素对与主元素冗余的特征进行删除，算法中阈值θ根据预期选取特征的维数设定。

根据上述定义，基于相关性的快速特征选择方法的特征选择过程如下：第一阶段，计算特征与类别之间的FC值，并保留特征集中的相关特征；第二阶段，应用近似马尔科夫毯删除第一阶段保留的特征集中的冗余特征。算法描述如算法1所示。

在建筑劳务市场中，企业如何维护自身的可持续发展，一直都是企业管理者们头痛不已的问题。企业应当坚持从实际出发，实事求是的观点，深入调查自身存在的问题，并解决这些问题，只有这样才能促进自身的可持续发展。以下将针对当前建筑劳务企业发展中存在的主要问题展开详细论述：

输入: F(f1,f2,...,fm,c) //训练集

θ //相关性阈值

运用最邻近指数分析厦门民宿的空间格局，结果表明，R值为0.137，小于1，说明整体上，厦门民宿呈集聚分布态势.海沧区、同安区、翔安区民宿的R值均大于1，表明这3个区的民宿分布较为均匀；而湖里区、集美区、思明区R值均小于1，表明这3个区的民宿呈集聚分布，尤其是思明区，R值极其逼近0，表明其民宿呈高度集聚分布的态势.

定义3 (马尔科夫毯)给定特征fi∈F和特征子集Mi⊂F(fi∉Mi)，当且仅当公式(8)成立，特征集Mi为fi的马尔科夫毯。

//第一阶段:无关或者弱相关特征删除

1)for fi∈F

2)计算特征和类别之间的FC(fi,c)相关得分

3)if FC(fi,c)>θ

Pei,W.(2000:29-31,87,179-181)also suggests six functions of context,that is,demonstrative function;extensive function;acceptive and rejective function;restrictive function;absolute function;interpretive function.

4)将特征 fi添加到特征子集F′中

5)end for

//第二阶段:冗余特征删除

在这首诗中，方干把天下八分文才划给了郑仁规，堪比曹植，在谢康乐之上，连世代文人称道的荀子和宋玉，在此公面前也无法抬头，将这位湖州刺史抬到了无以复加的高度。无独有偶，方干在诗《赠郑端公》中说“圣主伫知宣室事，岂容才子滞长沙”。又把郑仁规比作了才子贾谊，实在是奉承太过。同样，对于李郢这位侍御史，方干也写过不少奉和的诗篇。

6)对F′中特征按照FC(fi,c)值降序排序并将排序结果赋给Forder

ρ(fi,c)==

8)查找Forder中的主元素fi,并添加到Fopt中

9)将 fi从Forder中删除

10)查找以fi为近似马尔科夫毯的特征子集{fj}

11)将冗余特征子集{fj}中元素从Forder中删除

12)end while

算法1中使用近似马尔科夫毯定义冗余特征，其基于Pearl等人提出的马尔科夫毯理论，相关定义如下。

输出:Fopt //选择的特征子集

p(F-Mi-{fi},c|fi,Mi)=p(F-Mi-{fi},c|Mi)

(8)

由上述定义可知，如果Mi为fi的马尔科夫毯，那么由于特征集Mi的存在，fi对类别的区分性没有贡献，即fi的存在不能提高分类效果，应该被删除。

通过马尔科夫毯条件来判断条件独立具有很高的计算复杂度，因此算法1中使用单个特征来对某一特征fi的马尔科夫毯条件进行近似，并得到近似马尔科夫毯，定义如下。

定义4 (近似马尔科夫毯)给定特征集F中特征fi和fj，如果FC(fi,c)≥FC(fj,c)∧FF(fi,fj)>FC(fj,c)成立，则特征fi为特征fj的近似马尔科夫毯。

上述定义中假定，如果某一特征FC值越大，则该特征包含了类别越多的信息，FC(fi,c)大于FC(fj,c)，则保留特征fi可以保留对类别决策的更多信息。同时利用FC(fj,c)来对两维特征间FF相关的程度进行限定。

在英语学习过程中，越来越侧重口语表达能力，很多学者开始着重探究提高英语口语表达能力的各种方式。而对语言学习者的语言使用策略的分析却少之又少。本文针对英语学习者在用英语进行交流过程中所使用的交际策略进行分析，从而提高交际策略在英语学习工程中的作用。交际策略(Communication Strategies)作为一种开放式的语言工具，可以帮助语言学习者弥补语言知识的缺乏，提高对话的流畅度和有效性，信息交流的准确度和系统性，从而达到沟通交流的真正目的。

政策四：9月29日，财政部发布《关于跨境电子商务综合试验区零售出口货物税收政策的通知》。《通知》称，对综试区电子商务出口企业出口未取得有效进货凭证的货物，同时符合一定条件的，试行增值税、消费税免税政策：电子商务出口企业在综试区注册，并在注册地跨境电子商务线上综合服务平台登记出口日期、货物名称、计量单位、数量、单价、金额。出口货物通过综试区所在地海关办理电子商务出口申报手续。出口货物不属于财政部和税务总局根据国务院决定明确取消出口退（免）税的货物。

3 实验结果与分析

3.1 实验设置

基于上述度量可以构建特征选择方法进行最优特征子集的选取。早期的特征选择方法只考虑特征与类别之间的相关性，如信息增益、Relief[16]和ReliefF[17]等。随着特征维数的增加，该类方法的时间复杂度呈线性增长并且能够适用于高维数据的特征选择。但是由于没有考虑冗余特征的影响，该类方法选取特征子集的分类效果往往不理想。

实验中将数据随机均等分成2份，1份为训练集，1份为测试集，使用本文提出的3种特征选方法从训练集中选取预先设定维数的特征，然后根据选取的特征子集重新构造测试集，并应用NB和SVM分类器，采用10折交叉验证得到不同特征选择方法选取的特征集在测试集上的分类准确率。为了使得最后的实验结果更具统计意义，重复上述实验过程10次，并对10次实验的结果取平均值得到最终的分类准确率。

3.2 数据集

实验中使用基因和图像两类数据集，对3种度量的效果进行实验分析。每类数据选取四个不同的数据集，有二分类也有多分类数据集，特征维数从280维到19993维，具体数据信息如表1所示。

西芳寺原是作为圣德太子别墅而建的寺院，于1339年重建为禅宗寺院，是日本最古老的庭园之一，也是日本枯山水庭园的开山之作，由日本枯山水鼻祖、禅学国师梦窗疏石设计建造而成，融合了禅宗中幽玄、素朴、自然、清静等理念，已被列入世界文化遗产。日本的枯山水园林即由细沙碎石铺地，表示“水”，一些叠放有致的石块表示“山”，再添加苔藓、草坪或其他自然元素，以此组成的缩微式园林景观。西芳寺满园生长有100多种苔藓植物，庭园分为上、下两段，上段庭园为枯山水园林，下段为平地的池泉回游式庭园。

青樱当众受辱，心中暗自生怒，只硬生生忍着不做声。惢心已经变了脸色，正要上前说话，青樱暗暗拦住，看了跟在身后的格格苏绿筠一眼，慢慢跪了下去。

关于普及排印本古今字的辨析使用，应该根据词频统计，参照《现代汉语词典》等的收词情况，采取从俗的原则选用今字，而不能继续使用原字或古字。

 

表1 数据集

  

编号数据集特征总数样本数类别数类型1SMK⁃CAN199931872基因2TOX⁃17157481714基因3Arrhythmia27945216基因4Leukemia7129722基因5PIE10P242021010图像6ORL10P1030410010图像7PIX10P1000010010图像8AR10P242013010图像

3.3 实验处理和结果

本文算法1为两阶段特征选择方法，算法第一阶段通过对FSCC、FSSU和FSMI3种方法设定不同的阈值θ，选取预期维数的特征。表2为3种特征选择方法分别选取不同维数特征在NB分类器上的实验结果。表3为3种特征选择方法选取的特征在SVM分类器上的实验结果。

杨力生暗暗思量：哦，她这一定是听吴玉梅说起父母不是之处了。急忙向她解释：“不管如何，咱们最终不还是结婚了嘛！老人看问题有偏见不假，但他们毕竟是父母，咱们的一切都是老人留下的，不能跟老人计较过去的枝节小事。”

 

表2 3种特征选择方法选取的特征在NB分类器上的实验结果 %

  

特征维数FSCCFSSUFSMI102030401020304010203040SMK⁃CAN673870217199719965765166026515956659560635886TOX⁃171693872096821697764566166768655678369386705Arrhythmia575256345516593059786746635866896177592957515059Leukemia93529629962996299459531958696119537925994459444PIE10P63177197618812786188988990569142923794289206ORL10P606757336461789765754673888467813381337933PIX10P808481338067933394449756968998933397339733AR10P44575235333584663596422661264576820635965136565

  

图1 3种特征选择方法在NB分类器上的实验结果

  

图2 3种特征选择方法在SVM分类器上的实验结果

图1和图2为3种特征选择方法选取不同维数特征在NB和SVM两个分类器上的准确率均值。从表2和图1中实验结果来看，FSCC在SMK-CAN、TOX-171和Leukemia 3个基因类型数据集上的分类准确率最高，而在四个图像类型数据上的分类准确率较FSSU和FSMI方法有明显的差距。在Arrhythmia数据集上与FSMI分类准确率相近。FSMI在4个图像数据上的分类效果最好，但在四个基因类型的数据集上的分类效果较差。FSSU在Arrhythmia数据上的分类效果最好，在TOX-171数据集上的分类准确率最差，在其余的六个数据集上的效果与分类效果最好的方法效果相近。因此，从最终的分类结果来看，FSMI效果最好，并且其更适合处理图像类型数据。而FSCC更适合处理基因数据，并且FSCC在图像数据上的分类效果明显差于FSMI和FSSU方法。尽管FSSU方法只在Arrhythmia数据上的分类准确率最高，但是从所有八个数据集上的分类准确率来看，FSSU选取的特征在不同数据集上的分类效果更加稳定。

提升事业单位人事档案管理效益，离不开完善全面的制度体系。因此，在管理实践中，应该努力构建完善全面的管理制度。

图2和表3中在SVM分类器上的实验结果与图1和表2中实验结果类似，FSCC方法仍然在SMK-CAN、TOX-171和Leukemia 3个基因数据上的分类准确率最高，FSSU在Arrhythmia、PIE10P和PIX10P 3个数据集上的效果最好，FSMI在其他两个图像数据上的效果最好。

 

表3 3种特征选择方法选取的特征在SVM分类器上的实验结果 %

  

特征维数FSCCFSSUFSMI102030401020304010203040SMK⁃CAN6515667671568466486578658968995817608567777015TOX⁃1715976877316688766146846657695651566447036715Arrhythmia60175716315776631568916646511608613962116314Leukemia96789713967796495339458944494449579549461947PIE10P7256814683784769056943697139211907928893129421ORL10P6241781668116214751677997513767761477327688045PIX10P7917743794182169278951396579666937795496359233AR10P4088504956755866465286779680268765466326555

由上述实验结果可得，线性相关系数适合基因类型数据的特征选择工作，而在图像类型数据上选取特征的分类准确率较差。互信息和对称不确定性更适合处理图像类型的数据，对称不确定性在两种类型的数据上选取特征的分类效果较为稳定。

4 结 语

本文选取基因和图像两种特征选择常用类型数据集，对特征选择常用的3种度量——线性相关系数、对称不确定性和互信息在不同数据集上的效果进行研究。为了加快特征选择的效率，同时保证选取特征的分类效果，将3种度量应用到基于相关性的快速特征选择方法中，并提出FSCC、FSSU和FSMI 3种不同的特征选择方法。使用朴素贝叶斯和SVM两种分类器评价3种不同特征选择方法选取的特征。在选取的8个数据集上的实验表明，线性相关系数更适合于处理基因类型数据，选择的特征能够取得较好的分类效果，而在图像数据集上的效果较差；互信息在图像类型数据上的效果较在基因类型数据上更为突出。对称不确定性在两种类型的数据上的效果较为稳定，且效果较好。

参 考 文 献:

[1] CHANDRASHEKAR G, SAHIN F. A Survey on Feature Selection Methods[J]. Computers & Electrical Engineering, 2014, 40(1): 16-28.

[2] DESSI N, PES B. Similarity of Feature Selection Methods: An Empirical Study Across Data Intensive Classification Tasks[J]. Expert Systems with Applications, 2015, 42(10): 4632-4642.

[3] ZHAO Z, LIU H. Searching for Interacting Features[C]// Proceedings of the 20th International Joint Conference on Artificial Intelligence. Hyderabad, India, 2007:1156-1161.

[4] DASH M, LIU H,MOTODA H. Consistency Based Feature Selection[C]// Pacific-Asia Conference on Knowledge Discovery and Data Mining, Current Issues and New Applications. Springer-Verlag, 2000:98-109.

[5] ZHANG J G, DENG H W. Gene Selection for Classification of Microarray Data Based on the Bayes Error[J]. BMC bioinformatics, 2007, 8(1): 370.

[6] SOTOCA J M, PLA F. Supervised Feature Selection by Clustering Using Conditional Mutual Information-based Distances[J]. Pattern Recognition, 2010, 43(6): 2068-2081.

[7] SONG Q, NI J, WANG G. A Fast Clustering-based Feature Subset Selection Algorithm for High-dimensional Data[J].IEEE Transactions on Knowledge and Data Engineering, 2013, 25(1): 1-14.

[8] GUYON I, ELISSEEFF A. An Introduction to Variable and Feature Selection[J]. The Journal of Machine Learning Research, 2003, 3: 1157-1182.

[9] 谢娟英, 高红超. 基于统计相关性与 K-means 的区分基因子集选择算法[J]. 软件学报, 2014, 25(9): 2050-2075.

[10] MITRA P, MURTHY C A, PAL S K. Unsupervised Feature Selection Using Feature Similarity[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(3): 301-312.

[11] YU L, LIU H. Efficient Feature Selection Via Analysis of Relevance and Redundancy[J]. The Journal of Machine Learning Research, 2004(5): 1205-1224.

[12] PEREIRA R B, PLASTINO A, ZADROZNY B, et al. Information Gain Feature Selection for Multi-Label Classification[J]. Journal of Information and Data Management, 2015, 6(1): 48.

[13] HOQUE N, BHATTACHARYYA D K, KALITA J K. MIFS-ND: A Mutual Information-based Feature Selection Method[J]. Expert Systems with Applications, 2014, 41(14): 6371-6385.

[14] LEE S, PARK Y T,d’Auriol B J. A Novel Feature Selection Method Based on Normalized Mutual Information[J]. Applied Intelligence, 2012, 37(1): 100-120.

[15] FLEURET F. Fast Binary Feature Selection with Conditional Mutual Information[J]. The Journal of Machine Learning Research, 2004, 5: 1531-1555.

[16] KIRA K, RENDELL L A. The Feature Selection Problem: Traditional Methods and a New Algorithm[C]// Tenth National Conference on Artificial Intelligence. AAAI Press, 1992:129-134.

[17] KONONENKO I. Estimating Attributes: Analysis and Extensions of RELIEF[C]// European Conference on Machine Learning on Machine Learning. Springer-Verlag New York, Inc., 1994:356-361.

[18] HALL M A. Correlation-based Feature Selection for Discrete and Numeric Class Machine Learning[C]// Seventeenth International Conference on Machine Learning. Morgan Kaufmann, 2000:359-366.

[19] DING C, PENG H. Minimum Redundancy Feature Selection from Microarray Gene Expression Data[J]. Journal of bioinformatics and computational biology, 2005, 3(2): 185-205.

[20] KOLLER D. Toward Optimal Feature Selection[C]// Proceedings of 13th International Conference on Machine Learning. Morgan Kaufmann, 2000:284-292.

[21] 崔自峰, 徐宝文, 张卫丰,等. 一种近似Markov Blanket最优特征选择算法[J]. 计算机学报, 2007, 30(12):2074-2081.

[22] W Xindong, Y Kui, D Wei, et al. Online Feature Selection with Streaming Features[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(5):1178-1192.