摘 要：随着大数据时代到来，各种数据也越来越有参考价值，人们对数据的研究更加深入。如今，随着网络爬虫的发展，已逐渐成为大数据技术中的一个重要的环节。大多数搜索引擎都以网络爬虫技术作为核心开发模块。当用户在使用时，只需要输入关键词，就能获得相应的内容。

本文以疫情网站丁香园为爬取目标，基于Python Web Crawler，Scrappy，MySQL数据库操作和可视化技术收集国内疫情数据。后台存储采用MySQL数据库，并使用ECHARTS绘制疫情地图，结合AJAX异步请求完成同步显示。使国内各个地方的疫情数据更加直观，给想要分析疫情数据的群众提供更加清晰直观的数据和图像。

最后对爬虫和可视化进行成果展示，并对还存在的问题和改进进行论述。

 

关键词：Python网络爬虫；数据可视化；MySQL数据库；ECHARTS

 

目 录

摘 要

Abstract

第1章 绪 论 1

1.1背景与意义 1

1.2 国内外发展（应用）现状 1

1.2.1国内应用现状 1

1.2.2 国外应用现状 2

1.2.3 爬虫开发存在的问题 2

1.3论文所做工作及思路 3

1.4论文章节安排 3

第2章 系统主要应用技术 4

2.1 网络爬虫基础及相关技术介绍 4

2.1.1 网络爬虫简介 4

2.1.2 HTTP基本原理简介 5

2.1.3正则表达式简介 6

2.1.4 Python爬虫常用模块简介 6

2.1.5 Robot协议 6

2.2 Echarts 可视化工具 6

2.2.1 Echarts技术简介 6

2.2.2 Echarts操作步骤 7

2.3 Scrapy框架 7

2.3.1 Scrapy框架简介 7

2.3.2 Scrapy框架特点 8

2.3.3 Scrapy框架安装和使用步骤 8

2.3.4 Scrapy框架工作流程 9

2.4 Flask框架 9

2.4.1 Flask框架简介 9

2.4.2 Flask框架安装步骤 9

2.4.3 Flask框架初始化代码详解 10

2.4.4 Flask框架图以及运作流程 11

2.5 Ajax技术 12

2.5.1 Ajax简介 12

2.5.2 Ajax需配置的信息 12

2.5.3 Ajax工作流程 13

2.6 数据存取 13

2.6.1 MySQL数据库 13

2.6.2 MongoDb数据库 13

第3章 爬虫和可视化具体实现 14

3.1 网络爬虫模块 14

3.1.1 发送请求和数据提取 14

3.1.2 返回数据 15

3.2可视化模块 16

3.2.1 数据提取 16

3.2.2 数据格式转换 16

3.2.3 Ajax请求 17

3.2.4 Echarts中国地图模块 17

第4章 爬虫测试与成果展示 19

4.1 测试环境 19

4.2 运行状态及测试 19

4.3数据抓取结果展示与分析 20

4.4 数据可视化结果展示 20

第5章 结论 22

致 谢 23

参考文献 24