1、离线搜集工具：ETL在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。2、实时搜集工具：Flume/Kafka实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。3、互联网搜集工具：Crawler, DPI等Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。
做科研必备6大文献数据库！中国生物医学文献数据库（CBM）Embase中国知网全文数据库（CNKI）MedlineCochrane 在线图书馆OVID 电子期刊全文数据库（OVFT）*关于数据库介绍可以点击第一行《做科研必备6大文献数据库！》查看
只有四大数据库吧知网、万方、维普、龙源
国内主要有5大期刊数据库一、中国知网提供的《中国学术期刊(光盘版)》也称中国期刊全文数据库由清华同方股份有限公司出版。收录1994年以来国内6 600种期刊,包括了学术期刊于非学术期刊,涵盖理工、农业、医药卫生、文史哲、政治军事与法律、教育与社会科学综合、电子技术与信息科学、经济与管理。收录的学术期刊同时作为“中国学术期刊综合评价数据库统计源期刊”。但是收录的期刊不很全面,一些重要期刊未能收录。二、中国生物医学文献数据库(CBMDISC)由数据库是中国医学科学院信息研究所开发研制,收录了自1978年以来1 600余种中国生物医学期刊。范围涉及基础医学、临床医学、预防医学、药学、中医学及中药学等生物医学的各个领域。三、中文生物医学期刊数据库(CMCC)由中国人民解放军医学图书馆数据库研究部研制开发。收录了1994年以来国内正式出版发行的生物医学期刊和一些自办发行的生物医学刊物1 000余种的文献题录和文摘。涉及的主要学科领域有:基础医学、临床医学、预防医学、药学、医学生物学、中医学、中药学、医院管理及医学信息等生物医学的各个领域。并具有成果查新功能医学全在线四、万方数据资源系统(China Info)由中国科技信息研究所,万方数据股份有限公司研制。该数据库收录的期刊学科范围广,包括了学术期刊于非学术期刊,提供约2 000种的电子期刊的全文检索。被收录的学术期刊都获得了“中国核心期刊(遴选)数据库来源期刊”的收录证书。个别期刊甚至将“遴选”改成“精选”,或者干脆去掉。很多作者因此误以为这就是核心期刊。五、维普数据库也称中文科技期刊数据库,维普科技期刊数据库,由中国科学技术信息研究所重庆分所出版。收录了1989年以来我国自然科学、工程技术、农业科学、医药卫生、经济管理、教育科学和图书情报等学科9 000余种期刊,包括了学术与非学术期刊。收录期刊数量很大,但不足之处是部分国家新闻出版总署公布的非法期刊也被收录了。一般的,学术期刊都能进入至少1个国内期刊数据库。期刊据数据库[3]不是期刊的评价体系,对科研处的期刊性质评价也就缺乏足够的意义,故不宜作为期刊性质评价的依据。1、万方数据万方数据提供中国大陆科技期刊检索，是万方数据股份有限公司建立的专业学术知识服务网站。隶属于万方数据资源系统，对外服务数据由万方数据资源系统统一部署提供。2、全国报刊索引收录全国包括港台地区的期刊8000种左右，月报道量在8万条以上，年报道量在44万条左右，书本式用户有3500多家，现又出版光盘数据库。反映了中国政治、经济、军事、科学、文化、文学艺术、历史地理、科技等方面的发展情况，提供了国内外最新学术进展信息。该索引是我国收录报刊种类最多，内容涉及范围最广，持续出版时间最长，与新文献保持同步发展的权威性检索刊物，也是查找建国以来报刊论文资料最重要的检索工具。正文采用分类编排，先后采用过《中国人民大学图书分类法》和自编的《报刊资料分类表》，1980年起，仿《中国图书馆图书分类法》分21类编排，1992年全面改用《中国图书资料分类法》（第三版）编排，2000年开始用《中国图书馆分类法》（第四版）标引，计算机编排。在著录上，《全国报刊索引》从1991年起采用国家标准——《检索期刊条目著录规则》进行著录，包括题名、著译者姓名、报刊名、版本、卷期标识、起止页码、附注等项。同时，“哲社版”采用电脑编排，增加了“著者索引”、“题中人名分析索引”、“引用报刊一览表”，方便了读者的使用。3、超星数字图书馆为目前世界最大的中文在线数字图书馆，提供大量的电子图书资源提供阅读，其中包括文学、经济、计算机等五十余大类，数十万册电子图书，300 万篇论文，全文总量 4亿余页，数据总量30000GB，大量免费电子图书，并且每天仍在不断的增加与更新。覆盖范围：涉及哲学、宗教、社科总论、经典理论、民族学、经济学、自然科学总论、计算机等各个学科门类。本馆已订购67万余册。 收录年限：1977年至今。4、维普资讯维普资讯是科学技术部西南信息中心下属的一家大型的专业化数据公司,是中文期刊数据库建设事业的奠基人,公司全称重庆维普资讯有限公司。目前已经成为中国最大的综合文献数据库。从1989年开始，一直致力于对海量的报刊数据进行科学严谨的研究、分析，采集、加工等深层次开发和推广应用。5、中宏数据库中宏数据库由国家发改委所属的中国宏观经济学会、中宏基金、中国宏观经济信息网、中宏经济研究中心联合研创。是由18类大库、74类中库组成，涵盖了九十年代以来宏观经济、区域经济、产业经济、金融保险、投资消费、世界经济、政策法规、统计数字、研究报告等方面的详尽内容，是目前国内门类最全，分类最细，容量最大的经济类数据库。
所谓品类树就是指依据产品的特点，划分为的大、中、小分类结构。品类树是品类差异化的基础，必须结合经营管理的实际情况进行落地。例如要了解与物料大中小类相关的业务情况，可以按品类树钻取分析等。
八爪鱼，火车头采集器，近探中国，阿里数据采集 都是呼声比较高的数据采集工具。前两个需要自己会代码要自己写一些采集规则代码，懂代码的 都可以用，不懂代码的 近探是直接可以下载，尤其是最新注册的都可以下载，阿里的话大公司大品牌除了贵没有毛病。
从我十年的临床工作经验来看，市面上的临床数据采集工具大同小异，真正突出的点在于服务。用于科研分析更要求背后团队的专业性和计算能力的优越性。
你具体是要采集哪方面的，有一款捷豹采集是专业采集淘宝天猫商家信息的采集工具，希望可以帮助到你
1、问卷调查。工科毕业论文用问卷调查的数据比较多，这种数据比较好收集，自己设计一套问卷，去找目标人群收集数据就行了。2、实验数据。这种数据一般工科理科的同学用的比较多，通过自己的实验拿到的数据也比较可靠，自己用起来也很有底气。
可以使用腾讯问卷回答小组，它是连接问卷投放者和回答者的样本库平台，能轻松匹配调研目标人群，不收取中间费用，在1天内可以达到目标回收量的90%！让你在短时间获取大量高质量的答卷。回答小组仅以题目数量评估费用，单份问卷的样本成本低至2元起，低负担更适合学生群体，现在在该平台投问卷，还有好礼相送！
渠道一、学校图书馆图书馆和毕业论文可以说是官方标配，至少在毕业前的两个月里你每天要花大量的时间呆在图书馆。图书馆的图书量大且范围广，能够满足学生的要求，关键学校图书馆的文献资料权威度很高，不用担心自己找的文献有质量问题，但是大部分都是纸质图书，因此在后期引用的过程中会比较的麻烦，同时毕业论文检测也会受到影响。渠道二、互联网除了学校图书馆，互联网应该是大家使用频率最高的文献搜集渠道。目前比较受欢迎的有知网、百度学术、爱学术等，但是这些平台的期刊居多，对于博士和硕士论文的参考价值不高。最重要的是文献的质量和真实性难以查证，存在虚假信息和数据，因此在提交毕业论文检测前，建议大家权威的平台重新考证文献的来源。渠道三、学长学姐和导师建议你多结交几位你们学院的优秀研究生学长学姐，因为他们已经有了相关的经验并且手上的文献资料肯定是要比你的丰富，当然有的导师也会直接根据学生分的研究课题提供资料包，这些资料包的珍贵性可想而知，入伙你有幸进入行业交流群，那就更不用担心参考文献的搜集了，行业群往往能在第一时间发布最新的消息，如果你担心权威度，可以询问导师，当然，在毕业论文检测的时候，这些参考文献的质量也会一眼看出。
如果你是在校的学生可以去学校的图书馆进行借阅，当然你也可以在外找到图书馆去买你想要的论文集。
论文数据来源有：1、专业行业网站或统计网站(年鉴)。 主要依据主题的相关专业行业网站获取数据，同时注意记录各种数据源。2、相关的新闻报导，或者是学术文献文献作为数据的来源。 但需要对最新的数据进行整理。3、上市公司的年报或者市政府门户统计的经济数据，这种数据相对来说比较宏观的数据，准确一点。 4、相应的内部员工提供。 通过访谈、问卷调查、运营数据收集等获得。资料：论文是一个汉语词语，拼音是lùn wén，古典文学常见论文一词，谓交谈辞章或交流思想。 当代，论文常用来指进行各个学术领域的研究和描述学术研究成果的文章，简称之为论文。它既是探讨问题进行学术研究的一种手段，又是描述学术研究成果进行学术交流的一种工具。它包括学年论文、毕业论文、学位论文、科技论文、成果论文等。
可以在企业官网上查找公开的数据。论文收集数据的几种方式：第一、通过实验的方法化学、物理、医学等专业的论文，需要通过实验来获取自己的数据，因为只有通过实验的方式才能获得与自己论文一致的数据。第二、通过调查的方式同学们也可以通过到实地进行调研、考察等方式来获取自己所需要的一些数据。第三、互联网查询通过国家数据网络和国家统计网络搜索数据。国家数据网络包含了大量的数据，这一些数据包括年度、季度、月度等实时数据。第四、进行问卷调查很多大学毕业生在写毕业论文的时候，很多研究数据都来自于我们的生活调查，所以我们也可以参考问卷调查。把问卷放到网上之后，用户填写完之后就可以收集整理问卷，然后我们就可以得到我们需要的数据。毕业论文正文中各级标题顺序为：一、（一）、1、（1）、①。毕业设计采用下列标题顺序：1、1、1、①。一级标题即“一”设为四号黑体，每一部分结束后另起一页开始下一部分。正文内小标题力求简短、明确，题末不用标点符号。二级标题（一）用黑体小四号字。三级标题1后用点“”，宋体小四号字加黑。四级标题（1），字体字号同正文，为宋体小四号字，行距为5倍。
从数据来源分类：间接来源——查阅（二手）资料 直接来源——实地调查、实验（获得一手资料）从调查方法分类：概率抽样——简单随机抽样、分层抽样、整群抽样、系统抽样、多阶段抽样 非概率抽样——方便抽样、判断抽样、自愿抽样、滚雪球抽样、配额抽样从搜集方法分类：自填式（各种形式的调查问卷）、面访调查、电话调查
我们经常通过调查，实验等方式获得数据信息，还可通过查阅报纸相关文献和上网的方式获得数据信息。国家统计局的网站就是查资料的好地方。也可以利用搜索引擎输入你需要的关键词查找。
举例 分类
数据收集方法主要有传感器采集、爬虫、录入、导入、接口等。传感器，即“物联网”，通过温湿度传感器、气体传感器、视频传感器等外部硬件设备与系统进行通信，将传感器监测到的数据传至系统中进行采集使用。数据收集方法主要有传感器采集、爬虫、录入、导入、接口等。传感器，即“物联网”，通过温湿度传感器、气体传感器、视频传感器等外部硬件设备与系统进行通信，将传感器监测到的数据传至系统中进行采集使用。新闻资讯类互联网数据，可以通过编写网络爬虫，设置好数据源后进行有目标性的爬取数据。