摘要：随着大数据（Big Data）这个词不断被提出，在各个行业比如军事、农业、物理学、通讯不断被使用，近年来在互联网行业发展迅速而引发人们关注。对于海量数据的数据分析、数据挖掘已经成为一种获取数据，获得收益的不可或缺的一种方式，随着高科技互联网的时代到来，以互联网为中心的生活方式。已经越来越成为方便人们生活、工作的一种形式，在当今形势下，大数据的应用已经非常广泛且重要。比如说以阿里集团为代表的网络购物平台，在大数据当道的现实情况下，更好的利用了大数据的优势，利用这个优势获取到了更多的利益，大数据时代已经是我们不能避免也不能逃避的时代，在这个形势下数据的如何处理如何利用显得尤为重要[1]。

针对数据时代的来临，数据如何能更有效更快速更方便的服务各行各业是当前重要的形势，利用大数据搭建数据仓库(Data Warehouse)的形式已成为一种方式，对海量数据的采集、分析、处理、存储、查看是数据仓库的主要存在作用，利用数据仓库来实现对数据更有效的利用，将数据仓库作为数据管理系统对数据进行分析、拆解、整合等一系列加工操作。

数据仓库(Data Warehouse)的简称是DW，就是去利用数据库加工数据，封装存储，创建表结构等操作，去实现数据的有效性、可利用性最大化，面向特定的主题，能将分散、无关的数据，转变成相互有关系的数据，将数据仓库技术在企业生产各个环节深入的运用，极大的改善、整合企业的业务数据流程，提高数据的使用效率，从而达到企业决策作用。

 

关键词：大数据时代；数据仓库；数据挖掘；数据分析；数据加工；面向主题

 

目录

摘要

Abstract

引    言-1

1  绪论-2

1.1  数据仓库的发展及国内外研究现状-2

1.2  系统开发背景-2

1.3  开发目的和意义-2

2  系统需求及可行性分析-4

2.1  用户需求分析-4

2.2  系统可行性分析-4

2.2.1  技术可行性-4

2.2.2  经济可行性-4

3   系统开发相关技术及环境-5

3.1  Linux系统-5

3.2  Hadoop-5

3.3  Hive-5

3.4  MySQL、Oracle-5

3.5  Kettle-6

3.6  JDK-6

3.7  DBeaver-6

4  系统总体设计-7

4.1  系统总体功能分析-7

4.2  系统总体框架设计-7

5  系统详细设计与功能实现-9

5.1  ODS（源系统）-9

5.1.1 ODS系统表结构-9

5.1.2  生成测试数据方法-11

5.2  SDM层（数据基础层） 对源系统的数据操作-12

5.2.1  SDM层（数据基础层）的主要功能-12

5.2.2  数据采集抽取方式-12

5.3  PDM层（数据明细层）对数据存储-12

5.3.1  PDM层（数据明细层）的主要功能-12

5.3.2  数据类型及数据存储模式-12

5.3.3  PDM层所用到的算法-13

5.3.4  PDM层表结构-14

5.3.5  PDM存储过程-16

5.4  GDM（数据深度整合层）对数据的整合汇总-17

5.4.1  GDM层（数据深度整合层）的主要功能-17

5.4.2  GDM层（数据深度整合层）如何整合-17

5.4.3  表结构-17

5.4.4  存储过程-19

5.5  APP（数据应用层）对数据的开发-20

5.5.1  APP层的主要功能-20

5.5.2  APP层的表结构-20

5.5.3  APP层存储过程-21

5.6  本章小结-21

6  系统总体测试-23

6.1  系统整体测试-23

6.1.1  系统整体测试概述-23

6.1.2  系统的环境搭建-23

6.1.3  ODS（源系统）数据展示-24

6.1.4  SDM层（数据基础层）数据抽取测试及数据展示-24

6.1.5  PDM层（数据明细层）数据加工存储测试-25

6.1.6  GDM层（数据深度整合层）数据加工整合测试-25

6.1.7  APP层（数据应用层）数据应用层开发测试-26

6.2  系统的数据整体展示测试-26

6.3  本章小结-27

结    论-28

参 考 文 献-29