摘要：随着社会的进步，科技的飞速发展，当今的数据需求日渐增加，在大数据背景下，传统的数据分析方法显然已经无法满足现在海量数据的筛选工作，所以人们就需要依靠Python语言从海量的数据库中筛选出有用的信息，并且可以让数据实现可视化，从而找到众多数据的内在联系，找寻出数据隐藏的内部规律，帮助人们进行未来数据预测的工作。其次，大数据不仅在大公司或者高端科技中运用广泛，在日常生活中大数据也逐渐广泛的运用起来，人们的一言一行都可以用大数据来表示，所以大数据筛选技术也越来越趋近于平常化，这也是Python运用的如此广泛的根本原因。

本次课题的选择也是非常贴合人们的日常生活，社交APP的广泛运用，导致社交APP在人们生活中所占的比重日渐增加，所以为了了解新浪微博舆情的各种信息与特征，我们基于Python技术，经过一系列可视化设计的实现，得出了部分新浪微博舆情的发布时间、情感等一系列相关数据信息。本论文课题为基于大数据的网络舆情分析的研究与实现，主要有数据获取、算法实现、数据存储、数据结果展示等功能模块。在windows7的系统环境下，使用的开发环境为Anaconda，后台数据库采用MySQL Server 5.7，使用Python语言编程，该设计较为实用，安全性较高。

经过测试，本设计可以实现数据爬取到结果展示等功能的基本要求，提高了对网络舆情数据分析的准确度；简化了传统代码的繁琐复杂，使设计更精简；因此数据获取及结果分析的高效方便促进了资源的合理配置，提高了经济效益。

关键词：新浪微博舆情数据筛选；网页可视化图表；微博舆情图形界面编程；舆情分析 

目录

摘要

ABSTRACT

第1章 前言- 1 -

1.1 研究背景- 1 -

1.2 国内外研究现状- 1 -

1.3 研究目的和意义- 2 -

1.3.1 研究目的- 2 -

1.3.2 研究意义- 2 -

1.4 全文组织结构- 3 -

第2章 程序分析- 4 -

2.1 设计内容概述- 4 -

2.2 需求分析- 4 -

2.3 可行性分析- 5 -

2.3.1 技术可行性- 5 -

2.3.2 经济可行性- 5 -

2.3.3 操作可行性- 5 -

第3章 程序的总体设计与详细设计- 6 -

3.1 程序总体设计- 6 -

3.2 数据获取模块设计- 7 -

3.3 数据库模块设计- 8 -

3.3.1 数据库设计原则- 8 -

3.3.2 数据库需求分析与概要设计- 8 -

3.4 代码模块设计- 9 -

3.4.1 正则表达式的设计- 9 -

3.4.2 对数据库操作部分的设计- 9 -

3.4.3 解析网页的设计- 9 -

3.4.4 多线程的设计- 10 -

第4章 爬虫的实现与应用- 11 -

4.1 编码问题- 11 -

4.2 正则表达式的使用实例- 11 -

4.3 读取网页信息- 13 -

4.4 网页解析与多线程的实现- 13 -

4.4.1 网页解析- 13 -

4.4.2 多线程与锁- 14 -

4.5 程序中数据库的应用- 16 -

4.6 数据可视化的应用- 17 -

第5章 网络舆情分析- 23 -

5.1 数据爬取量分析- 23 -

5.2 评论时间分析- 24 -

5.3 文本情感分析- 25 -

5.4 词云分析- 25 -

5.5 舆情分析小结- 27 -

第6章 总结与展望- 28 -

6.1 总结- 28 -

6.2 展望- 28 -

参考文献- 29 -

致  谢- 30 -