摘要：电商用户行为可视化分析系统是基于Spark分布式计算框架，根据数据中台的理念简单实现的数据可视化分析系统。用于电商平台的任务调度、用户浏览电商网站时各种行为的基本指标的分析以及数据的可视化。系统基于Linux虚拟机，用Hive和Mysql作为离线数据源，Kafka作为实时数据源，Spark用来实现基本指标的分析算法，Springboot用作实现对分析任务的调度和管理，Echarts用作对数据可视化。主要设计完成了数据库及数据仓库的设计、实时用户广告点击数据的记录和传输、会话的浏览时长及浏览深度的计算、品类排行榜的生成、页面pv及页面流跳转率的统计、各个商品的受欢迎程度进行排行榜的生成、广告点击黑名单的生成及过滤、广告点击量走势的实时统计、分析任务的调度及管理以及数据可视化等模块。

关键词：Spark；数据中台；电商用户行为；Springboot；可视化

目 录

摘 要

Abstract

1  绪论-1

1.1 研究背景-1

1.2 研究目的和意义-1

2  基础理论和相关技术介绍-3

2.1 Spark生态介绍-3

2.2 Hive介绍-4

2.3 Kafka介绍-4

2.4 Springboot介绍-4

2.5 Mysql介绍-4

2.6 Echarts介绍-4

3  系统分析与设计-5

3.1 系统需求分析-5

3.2 系统总体架构设计-6

3.3 系统功能模块设计-7

3.3.1 任务调度及数据展示系统功能设计-7

3.3.2 离线分析及实时处理作业系统功能设计-8

3.4 系统数据库设计-9

3.4.1 Hive数据仓库表设计-9

3.4.2 Mysql数据库表设计-11

3.5 实时数据源设计-15

4  系统功能实现与测试-16

4.1 离线分析及实时处理作业系统的功能实现-16

4.1.1 离线数据源的实现-16

4.1.2 用户会话分析模块的功能实现-17

4.1.3 页面流跳转率分析模块的功能实现-18

4.1.4 获取大区前三热门商品模块的功能实现-18

4.1.5 实时数据源的实现-19

4.1.6 广告点击实时统计模块的功能实现-19

4.2 任务调度及数据展示系统的实现-20

4.2.1 任务信息管理的实现-20

4.2.2 数据可视化的实现-22

4.3 系统测试-24

4.3.1 系统测试概述-24

4.3.2 实时数据源测试-25

4.3.3 系统功能测试-25

结    论-27

致    谢-28

参考文献-29