摘要：随着现代社会的高速发展，科技发达，信息流通，人们之间的交流越来越密切，每时每刻都会产生了大量的数据。大数据计算技术完美地解决了海量数据的采集、存储、计算、分析的问题。大数据时代的到来，也开启人类社会利用数据价值的一个崭新时代，在此基础上人们对智能推荐系统的个性化和准确性也有了更高的要求，因此大数据技术和智能推荐的结合使得人们可以得到更加准确的个性化推荐。

基于大数据的音乐推荐研究与应用的主要功能可以完成不同音乐之间相似度计算，通过计算结果可以进行歌单、歌曲推荐。基本的流程通过Scrapy框架爬取数据，利用大数据技术对爬取的数据进行处理，通过协同过滤对处理好的数据进行相似度计算并显示推荐结果，通过Echarts来对数据结果进行可视化。

本设计在windows10系统环境和大数据环境下，采用的开发工具为Pycharm，采用的编程语言为Python，可视化展示通过Echarts工具。

经过测试，本设计可以实现音乐推荐的的基本要求，基本实现了对用户的个性化推荐。此音乐推荐采用了成熟的大数据处理技术，增强了大数据技术在智能推荐中的应用，并且将大数据技术与智能推荐算法结合也是未来智能推荐系统的趋势。

关键词：Scrapy框架；大数据；智能推荐；协同过滤；

目录

摘要

ABSTRACT

第1章 前言- 5 -

1.1研究背景- 5 -

1.2国内外研究现状- 5 -

1.2.1国内外研究现状- 5 -

1.3研究目的和意义- 6 -

1.3.1研究目的- 6 -

1.3.2研究意义- 6 -

1.4全文组织结构- 7 -

第2章 Python数据挖掘技术- 8 -

2.1 Python数据挖掘简述- 8 -

2.1.1什么是数据挖掘？- 8 -

2.1.1数据挖掘常用算法- 8 -

2.2 Scrapy爬虫框架- 8 -

2.2.1 Scrapy简述- 8 -

2.2.2 Scrapy框架- 8 -

2.2.3 Scrapy工作流程- 9 -

第3章 大数据处理架构Hadoop- 10 -

3.1 Hadoop原理- 10 -

3.1.1 大数据的概念- 10 -

3.1.2 Hadoop的发展演变- 10 -

3.1.3 Hadoop体系架构- 11 -

3.1分布式文件系统HDFS- 12 -

3.2分布式编程模式MapReduce- 13 -

3.3分布式数据库HBase- 14 -

3.4 其他hadoop生态环境工具简介- 15 -

第4章 个性化推荐系统及其基本算法- 17 -

4.1 基于内容的推荐算法- 17 -

4.2基于协同过滤的算法- 17 -

4.2.1基于用户的协同过滤算法- 17 -

4.2 基于物品的协同过滤算法- 19 -

5.1数据爬取- 21 -

5.1.1 爬取流程- 21 -

5.1.2  scrapy框架构建- 21 -

5.1.3  爬虫结构及结果展示- 24 -

5.2数据清洗处理- 24 -

5.3数据建模- 26 -

5.4数据可视化- 27 -

第6章 总结与展望- 30 -

6.1总结- 30 -

6.2 展望- 30 -

附 录- 30 -

参 考 文 献- 31 -

致  谢- 32 -