基于信息过滤技术论文推荐算法研究

随着网络的普及和信息技术的日新月异,信息膨胀与冗余给人们的社会活动和商务活动带来了信息选择的困惑,因此为每个用户提供快捷准确,满足个人实际需要的个性化信息服务成为当前的应用和研究热点。个性化信息服务包括个性化信息搜索服务、个性化信息推荐服务和个性化信息代理服务等。协同过滤算法是其中应用最为广泛的个性化推荐技术。但是,网上信息的数量和种类的急速增长,协同过滤推荐算法面临诸多挑战:推荐质量、可扩展性、数据稀疏性、冷启动问题等等。协同过滤需要建立在拥有大量的用户数据的基础上。虽然在不同的应用中,数据会有很大的不同,但当前提供个性化推荐服务的系统大都保存了用户基本的背景信息。这驱使我们考虑利用已有的用户信息来对传统的协同过滤方法进行改进。因此,本文提出一种改进算法——结合用户背景信息的协同过滤推荐算法。它首先根据项目的属性相似度对用户—项评分矩阵中的零值进行预测和填充,然后再基于用户的背景信息计算用户间的相似度,进行协同过滤。这样不仅提高了用户相似性计算的准确度,而且提高了推荐精度和用户最终预测评分的准确性。本文的实验采用MovieLens数据集,并与传统的协同过滤算法和基于项目评分预测的协同更多过滤推荐算法的MAE结果相比较,来验证本文所提出的算法。实验结果表明,本文提出方法的可行、正确、有效,能够有效解决数据稀疏问题。

1概述信息技术的井喷式发展使我国的历史学研究进入了信息化的轨道,历史资源数量巨大。以辛亥革命为例,辛亥革命是中国近代史上具有划时代意义的大事件,并且关于辛亥革命的资料文献众多,研究者搜寻所需信息的成本越来越高。传统搜索引擎缓解了信息检索的压力,但传统的搜索引擎将研究者视为一个群体,未考虑个性化差异,难以满足研究者的个性化需求。因此,需将个性化推荐技术应用于历史领域中。个性化推荐技术根据已有的用户数据,对目标用户进行信息推荐,帮助用户快捷的检索到自己所需要的信息。2基于用户兴趣度的协同过滤算法协同过滤技术是要确定目标用户的最近邻居,确定用户最近邻居是利用用户间的相似性,用户兴趣度是衡量用户相似性最重要的指标。当确定了用户对某类资源的兴趣度时,可以将邻居用户中兴趣度高的资源进行聚类,从而进行资源推荐。1用户兴趣度根据用户对网页的浏览行为,可以判断用户对网页的兴趣度,故可利用用户浏览行为计算用户兴趣度[1]。在历史领域中,服务器端

就是以数据诸如文字，声音，图像等为主要内容，以检索文献资料的内容而不是外表特征的一种检索技术·主要该系统有TRS系统·天宇系统·等与其他搜索引擎相比，全文搜索引擎的显著特点是它能够以文中任何一个有检索意义的词作为检索入口，而且取得的检索结果是原始文献，而不是文献线索随着计算机产业的发展，以计算机存储设备为载体的电子信息愈来愈多，这些信息大致可分为两类：结构化数据和非结构化数据，结构化数据指的是诸如企业财务帐目和生产数据、学生的分数数据等等，非结构化数据的则是一些文本数据、图象声音等多媒体数据等等。据统计，非结构化数据占有整个信息量的80%以上。对于结构化数据，用RDBMS（关系数据库管理系统）技术来管理是目前最好的一种方式。但是由于RDBMS自身底层结构的缘故使得它管理大量非结构化数据显得有些先天不足，特别是查询这些海量非结构化数据的速度较慢。而通过全文检索技术就能高效地管理这些非结构化数据。经过几年的发展，全文检索从最初的字符串匹配程序已经演进到能对超大文本、语音、图像、活动影像等非结构化数据进行综合管理的大型软件。由于内涵和外延的深刻变化，全文检索系统已成为新一代管理信息系统的代名词，衡量全文检索系统的基本指标也逐渐形成规范。首先，我们关注的是查全率，即系统在进行某一检索时，检索出的相关资料量与系统资料库中相关资料总量的比率。查准率则是保证我们找到最有用资料的一个关键，是系统在进行某一检索时，检索出的有用资料数量与检索出资料总量的比率。检索速度或者说响应时间是提高工作效率的保障，指的是从提交检索课题到查出资料结果所需的时间。最基本的检索速度是应该达“千万汉字，秒级响应"。还有诸如收录范围（所查找的范围）、用户负担（用户在检索过程中付出精力的总和）、输出形式 （输出信息表现形式）等指标也是衡量全文检索系统优劣的要素。搜索引擎应该是全文检索技术最主要的一个应用。目前，搜索引擎的使用已成为排在收发电子邮件之后的第二大互联网应用技术。搜索引擎起源于传统的信息全文检索理论，即计算机程序通过扫描每一篇文章中的每一个词，建立以词为单位的到排文件，检索程序根据检索词在每一篇文章中出现的频率和每一个检索词在一篇文章中出现的概率，对包含这些检索词的文章进行排序，最后输出排序的结果。全文检索技术是搜索引擎的核心支撑技术。一个好的检索引擎是一个理想站点的关键。很多人在访问一个站点时喜欢使用站点检索，站点检索应是分类目录导航和全文检索的完美结合，具体包括以下几个方面：分类目录导航的关键是检索范围，检索范围的限制能使得检索结果不会太多、太滥；全文检索对于站点检索是必不可少的，在通常情况下能够帮助人们很快地找到所要的网页；有时利用分类目录导航和全文检索还很难定位到所要的信息，这时就要组合检索辅助；必须有相关排序功能，因为当检索结果太多时，用户不可能一一浏览，大多数用户只浏览前面几条，没有相关排序，可能准确的检索结果排在后面，用户不能浏览到，而排在前面的检索结果却相关性很少，造成用户的错觉。此外，我们还要考虑HTML/XML的特殊性、支持大量并发用户突发访问、Web站点的动态特性、要求索引维护效率很高等方面。目前的技术实现有Lucene，Solr，ElasticSearch等。全文检索过程分为索引、搜索两个过程： 索引(Indexing)从关系数据库中、互联网上、文件系统采集源数据(要搜索的目标信息)，源数据的来源是非常广泛的。将源数据采集到一个统一的地方，例如存储系统，要创建索引，将索引创建到一个索引库（文件系统）中，从源数据库中提取关键信息，从关键信息中抽取一个一个词，词和源数据是有关联的。也即创建索引时，词和源数据有关联，索引库中记录了这个关联，如果找到了词就说明找到了源数据（http的网页、电子书、新闻等……）。搜索(Search)用户执行搜索（全文检索）编写查询关键字。从索引库中搜索索引，根据查询关键字搜索索引库中的一个一个词。展示搜索的结果。