摘  要

 

随着互联网的飞速发展，其数据体量在不断快速增长。在如此庞大的数据下，数据量大但信息匮乏问题便突显出来，如何从海量数据中找出所需要的信息一直是研究的热点和难点问题。

本文根据手机APP用户行为所产生的文本，研究了一种适用于海量文本的搜索引擎，用于向用户个性化推荐信息。搜索引擎由三个步骤组成，分别为分词、关键词提取、文本搜索。首先对用户文本进行分词和关键词提取，然后根据关键词在数据库中进行文本搜索，最后返回搜索结果。本文对三个步骤所需要的相关技术进行了阐述，通过对比分析各项技术的优缺点和是否契合现有的基于Spring Boot框架开发的服务端进行筛选，最终选择了Ansj、DF-IDF、Elasticsearch等三种算法或组件完成上述的三个步骤，论文详细阐述了实现方案。基于Ansj + DF-IDF + Elasticsearch技术架构，论文完成了包括DF-IDF算法关于词跨度、词性、IDF语料库等方面的改进和优化，再结合手机APP大环境，对Ansj和Elasticsearch组件进行合理利用与优化。最后，通过功能测试、速度测试、压力测试和线上测试四个测试方案，保证方案的可行性和可靠性，达到既定的分词速度、搜索速度、并发的要求，在实现了所需功能基础上，能较好地满足搜索性能要求。

关键词：分词，关键词提取，文本搜索，检索速度，并发

目  录

 

第一章 绪论 1

1.1 研究背景及意义 1

1.2 论文的研究目标 2

1.3 论文的组织结构 2

第二章 系统分析 3

2.1 任务描述 3

2.2 APP通信综述 3

2.3 中文分词综述 4

2.3.1 发展历史 4

2.3.2 技术阐述 4

2.4 关键词提取算法综述 5

2.5 搜索引擎技术综述 5

第三章 技术实现 6

3.1 服务端实现 6

3.2 中文分词实现 7

3.3 关键词提取算法实现 7

3.4 搜索引擎实现 9

第四章 性能优化 10

4.1 IDF计算的优化 10

4.2 搜索引擎优化 11

第五章 性能测试 12

5.1 性能测试 12

5.1.1 分词性能测试 12

5.1.2 文本搜索性能测试 13

5.2 并发测试 14

第六章 总结与展望 14

6.1 总结 14

6.2 展望 15

6.2.1 技术展望 15

6.2.2 应用展望 15

参考文献 16

致  谢 17