摘要：本文主要研究的是苏州地区高校的教研论文大数据分析与可视化，主要是对苏州地区高校教研论文的数据处理加工从而将数据用图表形式呈现出来。以便于使用者可以方便的查看不同的年份该学校发表的教研论文数量、不同年份累计的论文数、引用次数、每篇论文的平均引用次数等各个指标来进行分析与作者发表的数量等等。同时教研论文的发表数量与引用次数也是反映了一个学者的个人能力，也是评价一个学者的实力的一个重要的因素。本文通过CNKI和万方数据库对数据进行分析可以得到该校的教研论文发表及引用情况，以此进行对其做出合理化的建议。  

本论文运用Python爬虫技术爬取了CNKI和万方数据库从而得到了苏州地区高校教研论文的原数据，然后存入MYSQL数据库中,进行数据清洗，从而进行数据分析，最后使用阿里云的quick bi进行数据可视化。

关键词：  数据获取  数据分析  可视化  统计分析

目录

摘要

Abstract

1. 概述-1

1.1 课题研究的背景-1

1.2 本文写作的目的-1

1.3 资料的来源-2

1.4 课题对社会的影响-2

1.5 论文组织结构-2

2. 文献综述-4

2.1使用工具-4

2.2大数据分析-4

2.3 Python爬虫-4

2.4 MySQL-4

2.5 阿里云Quick Bi-5

3. 数据爬取与清洗-7

3.1总体架构-7

3.2 URL管理-7

3.3 HTML下载-8

3.4 HTML解析-9

3.5 数据存储-9

4. 数据分析-14

4.1 年份分析-14

4.1.1年份-文献量分析-14

4.1.2 年份-引用量-15

4.1.3 年份-下载量-15

4.2 作者分析-16

4.2.1作者-文献量-16

4.2.2作者-引用量-17

4.2.3作者-下载量-17

4.3 单位分析-18

4.3.1单位-文献量-18

4.3.2单位--引用量-19

4.3.3单位--下载量-19

4.4 标题分析-20

4.5 摘要分析-22

5. 数据可视化-26

5.1 简述-26

5.2 年份可视化-27

5.3 作者可视化-29

5.4单位可视化-30

5.5标题和摘要可是化-32

6. 总结与展望-34

6.1 课题总结-34

6.2 未来展望-35

参考文献-36

致谢-37