摘要：在大规模的情感事件和复杂的情感识别应用中，如何提高识别精度、计算效率和用户体验质量成为首要问题。语音情感识别、文字情感识别、面部表情情感识别、肢体动作情感识别等单模态情感识别是当下情感识别研究中主要的方向。在复杂环境下单模态的情感识别容易出现识别效果不明显的情况，基于跨模态融合的情感识别方法是解决此类问题的重要途径。本文采用计算机图像处理深度学习的方法去检测情绪，收集大量面部表情及肢体动作图片，利用深度学习的方法对图片数据集在Python,TensorFlow环境下进行标注、训练、分类。基于三种基本的情绪（伤心、高兴和正常）作为情绪提取的数据依据展开分析，根据面部表情和肢体动作来识别情绪。通过图片分析面部表情以及肢体动作的特殊变化来判断情绪，进而探讨基于跨模态融合的情感计算方法。

关键词：深度学习；跨模态融合；情感识别；卷积神经网络；图像分类

目 录

摘 要

ABSTRACT

第一章  绪论-1

1.1 研究的目的及意义-1

1.2 图像识别概述-1

1.3 面部表情和肢体动作识别情绪发展和研究-2

1.3.1 情绪的发展与研究-2

1.3.2 面部表情识别-3

1.3.2 肢体动作识别-4

1.4 本章小结-5

第二章  深度学习-5

2.1 深度学习概述-5

2.2 深度学习中的人工神经网络-6

2.3 深度学习结构-7

2.4 本章小结-7

第三章  基于图片的分类检测情绪-7

3.1 图像分类概述-7

3.2 图像分类方法-8

3.2.1 标注-8

3.2.2 训练-8

3.2.3 分类-8

3.3 图像分类模型-9

3.3.1 卷积神经网络CNN-9

3.3.2 VGGNet-11

3.3.3 GoogleNet-12

3.3.4 Inception-12

3.4 结果分析-14

3.4.1 面部表情-14

3.4.2 肢体动作-16

3.5 本章小结-18

第四章  跨模态融合的方法-18

4.1 跨模态融合网络模型-18

4.2 用于跨模态数据融合的情感计算算法-19

4.3 本章小结-21

第五章 总结与展望-21

5.1 总结-21

5.2 展望-22

参考文献-23

致  谢-26

附  录-27