摘要：随着大数据的飞速发展，越来越多的数据需要进行处理和分析，因此企业中数据分析岗位的需求剧增。为更好地了解市场需求、了解数据分析岗位的工资情况，本文获取了前程无忧招聘网站中数据分析岗位的相关数据，并使用Python语言对数据进行了综合处理、结合不同的城市、学历要求、工作年限等相关基础条件与对应工资情况进行了探索性分析、建立了以工作城市、学历、工作年限为自变量、以工资为因变量的多元线性回归模型，并对模型进行了评估和优化以及相关检验，最后得出的结论为工作城市、学历、工作年限与工资间具有较强的相关关系，故可通过回归模型以及自身条件对未来的工资进行预测。

 

关键词： 数据分析岗位  前程无忧网站  多元线性回归  工资预测

 

目 录

摘 要

Abstract

1.引言-1

2.相关概念概述-1

2.1爬虫技术-1

2.2 数据分析岗位-1

2.3 多元线性回归模型-2

3.数据获取和处理-2

3.1 数据获取-2

3.1.1 明确爬虫目标-2

3.1.2 网页解析-3

3.1.3 单页数据获取-4

3.1.4 多页数据获取-5

3.1.5 数据储存-5

3.2数据预处理-5

3.2.1 数据导入-5

3.2.2 缺失值处理-6

3.2.3 异常值处理-6

3.2.4 数据规约-7

3.3探索性分析-8

3.3.1工作城市与工资-8

3.3.2 学历与工资-9

3.3.3 工作年限与工资-10

4. 模型的建立与评估-11

4.1 变量的选择-11

4.2 标准化数据-12

4.3 建立模型-12

4.4 评估模型-13

5.模型优化与运用-13

5.1 模型的优化-13

5.2 模型的检验-14

5.2.1 同方差性检验-14

5.2.2 多重共线性检验-15

5.3模型的运用-15

6.结束语-16

参考文献-17

附录-18

致谢