摘要：社区分析是指社交网络分析，是隶属于社会学的研究分支，被定义为映射个人或组织之间联系的社会网络结构，利用其技术特点则可以应用于文本分析，挖掘文本中潜在的文本网络结构。在当前互联网媒体信息泛滥的时代下，互联网新闻媒体层出不穷，不断发展壮大，其收集并在网络上发表各种各样的新闻信息来获取用户、点击量等流量收益。在这样的互联网信息世界背景下导致的就是用户在自身信息处理能力有限的前提下被各种网络新闻信息混淆观念从而无法获得新闻内容所要表达的真实信息，也难以感知现实世界真实的事态和变化，如何从互联网媒体所报道的海量新闻内容中获取真实有效的信息是互联网用户普遍面临的问题。

本文在上述问题的基础上进行研究，并分为两个阶段，第一阶段首先使用Python中的爬虫工具抓取新闻文本数据作为数据基础，接着使用Python中的分词工具对新闻文本进行分词处理，结合两个不同算法TF-IDF和TextRank提取文本中的关键词，最后选取符合新闻要点的高频关键词15到20个。第二个阶段以高频关键词作为社区网络节点，使用Python中的网络分析和社区分析工具库，分析网络特点，如社区网络状态、社群网络分布、个体相关系数等。最后通过得到的分析结果并综合新闻关键词的含义总结出新闻高频关键词之间的联系与深层含义，为媒体与读者带去有价值的信息与建议和分析途径，也提供了技术应用方向参考。

关键词：Python  爬虫  中文分词  社区分析

目录

摘要

Abstract

1.绪论-1

1.1 研究背景-1

1.2 国内外研究综述-1

1.3 本文所做工作-2

2.相关技术阐述-3

2.1 网络爬虫-3

2.2 文本分词-3

2.3 社区分析-3

3.基于Python的新闻文本分析方案设计-4

3.1 现有研究的分析-4

3.2 基于Python的新闻文本分析方案提出-4

3.2.1 基于Python爬虫技术的网络新闻爬取-4

3.2.2 基于网络新闻文本的关键词提取-7

3.2.3 基于新闻文本关键词的社区分析-8

4.基于Python的新闻文本分析方案的实施与结果-10

4.1 新闻文本的获取-10

4.2 新闻关键词的获取-11

4.3 新闻关键词的社区分析-13

4.4 结果分析-15

5.总结与展望-16

参考文献-17

致谢-18