摘要：在互联网技术不断进步的时代大背景，数据的价值也日益得到彰显，从大量数据中获取有效信息变得尤为重要。数据挖掘技术便随之得到了发展，越来越多的人通过数据挖掘对数据间隐藏的有效信息进行挖掘。功能强大的python程序语言，已经在数据挖掘领域得到广泛的应用。python中包含的多种数据处理扩展包，这些扩展包数据挖掘工作提供便利的同时，其强大的科学计算能力也能使得数据挖掘过程更加高效。

本设计通过使用scrapy框架爬虫来对智联招聘网中的的信息进行采集，分析采集到的智联招聘信息数据，最终用决策树算法建立能够预测薪资待遇的分类模型。本文设计的开发平台为windows10,使用Pycharm作为开发工具，开发语言采用Python，使用mongodb来储存采集到的数据。通过Echarts实现数据可视化。通过使用决策树算法建立分类模型完成本次研究。

本文的决策树模型，可以使求职者在寻求工作时能够预测工资待遇，辅助求职者对招聘信息做出高效评估，查看用人单位提供的工资待遇是否符合预期，求职者可以在众多招聘信息中高效的找到适合自己的工作。此模型还可以用于优化用人单位的招聘信息，该模型能对招聘信息中的薪酬进行分类，获取现下各种职位的薪酬分布情况，供用人单位参考。从而对招聘信息做进一步调整，不仅提高了招聘的效率，而且提高了用人单位在行业中的竞争力。

关键词：数据挖掘；python；决策树算法；scrapy 框架爬虫

目录

摘要

Abstract

第1章 绪论- 1 -

1.1研究背景与意义- 1 -

1.1.1研究背景- 1 -

1.1.2研究意义- 1 -

1.2国内外研究现状- 1 -

1.2.1国外研究现状- 1 -

1.2.2国内研究现状- 2 -

1.3研究的内容- 3 -

1.4研究的思路与方法- 3 -

1.4.1研究思路- 3 -

1.4.2研究方法- 3 -

1.5全文组织结构- 4 -

第2章 Web数据挖掘- 4 -

2.1 Web数据挖掘的定义- 4 -

2.2 Web数据挖掘的分类- 5 -

2.3 Web数据挖掘的步骤- 5 -

2.4 Web数据挖掘的方法- 6 -

第3章 Python网络爬虫技术- 7 -

3.1 Python数据挖掘技术简介- 7 -

3.2 scrapy 爬虫框架- 7 -

3.2.1  网络爬虫- 7 -

3.2.2 scrapy 框架- 7 -

3.3常用的Python库- 8 -

3.3.1 pymongo 库- 8 -

3.3.2 NumPy和pandas库介绍- 9 -

3.4网站反爬虫及应对措施- 9 -

3.5数据预处理方法- 12 -

第4章 决策树算法- 14 -

4.1决策树的定义- 14 -

4.2 决策树的生成- 14 -

4.3 主要决策树算法- 15 -

第5章 数据可视化简介- 17 -

5.1 数据可视化概述- 17 -

5.2 ECharts简介- 17 -

第6章 基于决策树的招聘信息挖掘设计与实现- 18 -

6.1招聘信息数据挖掘目标确定- 18 -

6.2 招聘信息数据采集- 18 -

6.2.1数据采集原则及筛选条件- 18 -

6.2.2 Scrapy框架构建- 18 -

6.2.3采集招聘信息- 19 -

6.3招聘信息数据预处理- 24 -

6.4招聘信息数据建模- 28 -

6.5招聘信息数据可视化- 29 -

第7章 总结与展望- 33 -

7.1总结- 33 -

7.2 展望- 33 -

参 考 文 献- 34 -

致  谢- 36 -