摘要：最近几年，因为移动互联网在世界各地的覆盖范围愈来愈广泛，智能手机、平板电脑等智能终端设备受到了前所未有的追捧，使得大量的APP商店层出不穷，琳琅满目的移动应用更是让用户应接不暇。然而，在用户享受多种多样APP的同时，也意味着用户的个人信息会受到许多未知的威胁。为了可以让用户放心地使用各种可以保障其网络安全的APP，我们需要对市面上的应用软件商店进行严格地监管，因此开发出一款PC端移动应用商店的信息采集系统可以初步完成以上的市场规划需求。

本文基于web开发，主要针对网页版应用宝移动应用商店进行信息统计，通过网络爬虫技术实现了采集应用商店中移动应用软件各种基本信息的功能。本系统的工作流程总体可划分为：将Tencent应用宝应用商店网页中包含的所有URL通过使用爬虫的方法提取出来，这时爬取队列会出现刚刚得到的全部URL，当获取到目标结果时，爬取进程才会结束。得到的以上数据会被存储在HTML文本里面，然后使用网页信息提取的方法把已经获得的数据（如APP name，APP size，APP fresh time，Download link）存储到MySQL里。最终，通过点击下载地址栏里的“点击下载”转到下载界面，实现下载功能。

本系统使用了网络爬虫、多线程等多种技术手段，且本系统的用户管理系统嵌套在管理员模块中，为用户管理实现了安全性保障，在管理员模块和普通用户模块中分别实现了网页数据提取、网页数据检索、爬取应用软件数据、应用软件数据检索，管理普通用户信息，更改个人资料等功能和网页信息查询，APP信息查询，个人数据管理等功能。 

关键词：网络爬虫；应用软件；采集；网页信息提取

目录

摘要

Abstract

1 绪论-1

1.1 研究背景与意义-1

1.2 发展现状-1

1.3 相关技术简介-2

1.3.1 Java-2

1.3.2 B/S架构-2

1.3.3 MVC框架-2

1.3.4 MyEclipse-3

1.3.5 Tomcat-3

1.3.6 MySQL-3

1.4 主要研究方向-4

1.5 本文结构-4

2 系统需求及可行性分析-5

2.1 系统需求分析-5

2.1.1 市场需求-5

2.1.2 功能需求-5

2.1.3 主要技术分析-6

2.2 系统可行性分析-7

2.2.1技术可行性-7

2.2.2经济可行性-7

2.2.3操作可行性-7

3 系统总体设计-8

3.1 系统总体结构设计-8

3.2 数据库设计-8

3.2.1 数据库模型-8

3.2.2 数据库表-9

4 系统实现-12

4.1 登录注册模块-12

4.2 用户管理模块-13

4.3 应用软件数据爬取模块-15

4.4 应用软件数据检索模块-16

4.5 网页数据提取模块-18

4.6 网页数据检索模块-19

4.7 个人信息模块-20

结    论-22

参 考 文 献-23

致    谢-24