摘  要

 

大数据技术的日益成熟以及推荐算法在生活中的大量应用，给我们的生活带来了巨大便利。本设计主要以IntelliJ IDEA和Visual Studio Code作为开发工具，使用Spark计算引擎、MongoDB数据库、Redis缓存数据库、Elasticsearch搜索引擎、Spring Boot框架和Vue.js框架等搭建图书推荐系统。系统实现的主要功能有用户注册登录、书籍的模糊搜索、书籍的收藏与评分、书籍信息的数据统计、针对用户的个性化图书推荐、书籍的推荐排行榜等。该系统的设计，不仅将大数据技术和推荐系统相结合，而且应用于图书推荐这一实用生活场景，可以有效的为用户推荐适合的书籍。

 

关键词：大数据，推荐系统，Spark，Spring Boot，系统搭建

目  录

 

1 绪论 1

1.1 引言 1

1.2 研究背景 1

1.3 大数据与推荐系统现状与问题 1

1.4 研究意义 2

2 网站采用的相关技术介绍 3

2.1 后端模块 3

2.1.1 Spring Boot 3

2.2 大数据模块 3

2.2.1 Spark 3

2.2.2 Flume 4

2.2.3 Kafka 4

2.2.4 Zookeeper 4

2.3 推荐算法模块 4

2.3.1 协同过滤推荐算法 4

2.4 前端模块 5

2.4.1 Vue.js 5

2.4.2 ElementUI 5

2.5 数据库服务 5

2.5.1 MongoDB 5

2.5.2 Redis 6

2.5.3 Elasticsearch 6

3 系统需求分析 7

3.1 系统设计目标 7

3.2 功能需求分析 7

3.3 可行性需求分析 8

3.4 系统流程分析 8

4 系统总体设计 9

4.1 系统概述 9

4.2 系统总体功能模块设计 9

4.2.1 数据加载模块 9

4.2.2 数据统计模块 9

4.2.3 离线推荐模块 9

4.2.4 实时推荐模块 9

4.2.5 前后端服务模块 10

4.3 数据库设计 10

5 系统实现 12

5.1 系统开发环境搭建 12

5.1.1 搭建Java、Scala环境 12

5.1.2 搭建本地Maven仓库 12

5.1.3 搭建Vue.js环境 12

5.1.4 搭建虚拟机环境 13

5.1.5 搭建MongoDB环境 13

5.1.6 搭建Redis环境 13

5.1.7 搭建Spark环境 13

5.1.8 搭建Zookeeper环境 13

5.1.9 搭建Kafka环境 14

5.1.10 搭建Flume环境 14

5.1.11 搭建Elasticsearch环境 14

5.2 数据加载模块的实现 14

5.3 数据统计模块的实现 16

5.4 离线推荐模块的实现 16

5.5 实时推荐模块的实现 17

5.6 系统效果展示 20

5.6.1 登陆/注册 20

5.6.2 首页 20

5.6.3 全局搜索 21

5.6.4 用户推荐列表 21

5.6.5 热门书籍 22

5.6.6 书籍详情页 22

5.6.7 实时推荐结果 23

6 系统测试 24

6.1系统测试目标 24

6.2测试计划和要点 24

6.3测试结论 24

7 结论 25

参考文献 26

致  谢 27