聚焦爬虫原理及其在互联网.docx

资料分类:理工论文 上传会员:月光影子 更新时间:2018-04-14
需要金币2000 个金币 资料包括:完整论文 下载论文
转换比率:金额 X 10=金币数量, 例100元=1000金币 论文字数:15776
折扣与优惠:团购最低可5折优惠 - 了解详情 论文格式:Word格式(*.doc)

摘要:在21世纪的今天,人们开始进入大数据时代,传统的数据资料不再局限于书本文字形式,互联网成为了信息数据资料存储的关键,而如何有效的搜索并挖掘这些数据成为了一个难题,由此聚焦爬虫技术应运而生。就研究爬虫技术的现状,分析了国内外爬虫研究的多方面应用,如EbizSearch图书馆,STIP系统等其他主题搜索的聚焦爬虫系统都有着丰富的应用前景。

首先研究了搜索引擎和通用爬虫技术原理及模型,工作流程,了解通用爬虫的不足,进而研究典型的聚焦爬虫系统结构,重点分析了聚焦爬虫的技术以及它的算法,着重于分析“优先算法”并改进算法,利用JAVA的多线程原理,从而提高“查全率”。

根据聚焦爬虫技术发展的趋势由两部分构成:数据采集分布化、网页数据动态化。并使用AJAX,JavaScript技术研究动态化的网页爬虫系统,更好的进行目标搜索分析。通过使用神箭手云爬虫平台,对雪球网沪深股市的信息咨询进行爬取,实现爬虫技术在互联网金融领域的应用。

最后结合实例,通过支付宝信贷系统分析了聚焦爬虫在互联网金融行业的对数据资料特点,及其应用,更好的验证了聚焦爬虫在互联网金融领域的前景。

 

关键词聚焦爬虫;分析常见算法;AJAX;爬虫应用;互联网金融

 

目录

摘要

Abstract

1 绪论-1

1.1 研究背景-1

1.2 国内外研究现状-2

1.2.1 国外研究现状-2

1.2.2 国内研究现状-3

2 聚焦爬虫原理及其关键性技术研究-4

2.1 网络爬虫的概念-4

2.2 通用爬虫-5

2.2.1 通用爬虫的原理及模型-5

2.2.2 通用爬虫的不足-7

2.3 聚焦爬虫-7

2.3.1 聚焦爬虫的系统结构-7

2.3.2 聚焦爬虫的关键技术-10

2.4 分析常见算法-12

2.4.1 广度优先搜索算法-12

2.4.2 最佳优先搜索算法-13

2.4.3 算法的改进-14

3 网络爬虫分析及其在互联网金融的爬虫应用实现-16

3.1 网络爬虫技术的分析-16

3.1.1 数据采集分布化-16

3.1.2 网页数据动态化-16

3.2 互联网金融的爬虫应用实现-17

3.2.1 AJAX概述及其框架爬虫系统的实现-17

3.2.2 JavaScript概述-18

3.2.3 互联网金融的爬虫应用实现的具体操作-19

4聚焦爬虫技术原理在互联网金融领域的应用前景-22

4.1 互联网金融数据抓取特点-22

4.1.1 互联网上金融领域数据的特点-22

4.1.2 互联网金融领域网页数据的获取-22

4.2 聚焦爬虫技术原理在互联网金融领域的作用-23

4.2.1 网络舆情的监管-23

4.2.2 构建客户全景画像-23

4.2.3 提高危机意识-23

4.2.4 金融领域垂直搜索-24

4.3 聚焦爬虫与互联网金融结合实例-24

结论-28

致谢-29

参考文献-30

附录-31

相关论文资料:
最新评论
上传会员 月光影子 对本文的描述:研究人员为了能够解决上述的几个问题,花费了大量的时间和精力投入到定向抓取与搜索目标相关的网页数据资源,专业的术语称之为“聚焦爬虫”(也被称为主题爬虫)。聚焦爬虫是......
发表评论 (我们特别支持正能量传递,您的参与就是我们最好的动力)
注册会员后发表精彩评论奖励积分,积分可以换金币,用于下载需要金币的原创资料。
您的昵称: 验证码: