摘 要：经过互联网广泛快速的发展，数据抓取分析成为现代重要的研究方向之一，各大高校相继成立大数据分析专业，数据的抓取分析正成为当今各行各业不可或缺的一部分。Python在各大语言工具中，十分适合对数据的抓取和分析，在开发过程中大大节约开发的时间和成本。本设计基于python设计，对前程无忧计算机岗位的招聘信息中的数据进行抓取和分析。

本设计主要有下列几步:数据抓取、数据清洗、数据可视化、薪资的预测。通过抓取和分析的爬虫程序，可以帮助求职人员通过岗位的分析来及时了解薪资待遇水平等一系列求职的信息，准确的呈现现阶段的招聘信息。对经过对比分析所提供的内容，求职人员可以有效的了解求职所需的条件。

关键词：Python；数据分析；Scrapy ；Web

目录

摘要

Abstract

第一章 引言-1

1.1 选题背景-1

1.2 研究目的和意义-1

1.3 国内外发展状况-2

1.4 研究内容与预期成果-2

1.4.1 具体研究内容-2

1.4.2 研究环境-3

1.5 论文组织结构-3

第二章 所用开发工具简介-4

2.1 数据抓取原理-4

2.1.1 数据抓取概述-4

2.1.2 scrapy 爬虫框架-4

2.2 数据清洗技术概述-6

2.2.1 空值处理-6

2.2.2 薪资标准化处理-6

2.2.3 等字段清洗-6

2.3 数据库介绍-7

第三章 系统总体设计-9

3.1 系统需求分析-9

3.1.1 开发工具的比较和选择-9

3.1.2 数据库的比较和选择-9

3.2 系统概要设计-9

3.3 数据库设计-10

3.4 系统详细设计-11

3.5 系统流程图-11

3.5.1 用户登录流程图-11

3.5.2 用户注册流程图-12

第四章 招聘信息分析结果-14

4.1 系统登录界面实现-14

4.2 爬虫功能抓取实现-16

4.3 导入数据库功能实现-21

4.4 数据集可视化功能实现-22

4.5 薪资预测功能实现-23

4.6 数据可视化界面功能实现-24

第五章 系统测试-27

5.1 系统测试-27

5.1.1 登录功能测试-27

5.1.2 注册功能测试-27

5.2 测试结果分析-28

第六章 结束语-29

6.1 研究总结-29

6.2 研究展望-29

参考文献-30

致   谢-31