摘    要

决策树作为数据挖掘中优秀的分类和回归算法，凭借其优秀的解释呢能力和拟合能力，深受各个领域的追捧。本篇论文主要介绍了三个决策树算法ID3、C4.5、CART，并引申出集成学习随机森林算法，最后利用泰坦尼克号乘客存活率的数据对这几种算法的分类效果进行测试，检验各个算法的鲁棒性和泛化能力。

 

    关键词：决策树；ID3；C4.5；CART；信息增益；基尼指数；随机森林； 

目录

1 引言............................................................................................................................................... 5

1.1 分类问题.................................................................................................................................5

1.2 决策树算法的概念与优势.....................................................................................................5

2 相关工作........................................................................................................................................6

2.1 决策树的基本方法................................................................................................................ 6

2.1.1 特征的选取..................................................................................................................... 6

2.1.2 决策树的生成..................................................................................................................8

2.1.3 决策树的剪枝..................................................................................................................9

2.2 随机森林...............................................................................................................................10

2.2.1 随机森林简介................................................................................................................10

2.2.2 随机森林的建立............................................................................................................10

2.2.3 随机森林的优势............................................................................................................10

3 案例分析..................................................................................................................................... 11

3.1 实验设计...............................................................................................................................11

3.2 实验步骤...............................................................................................................................12

3.2.1 缺失值处理................................................................................................................... 12

3.3.2 数据标准化................................................................................................................... 12

3.3.3 文本提取....................................................................................................................... 13

3.3 实验结果分析...................................................................................................................... 13

3.3.1 评价标准........................................................................................................................13

3.3.2 评价结果........................................................................................................................14

4 结论............................................................................................................................................. 15

5 参考文献..................................................................................................................................... 16

6 致谢............................................................................................................................................. 17