摘  要

 

基于神经网络的视频质量增强方法能够明显减少视频压缩噪声，提高压缩视频的主观与客观质量。目前，大多研究采用的是空域单帧增强策略。然而，视频图像在时域也具备高度相关性，这些信息还未在视频增强上得到充分利用。为此，提出了一种多帧视频增强策略，联合时空域信息来对重建视频进行增强。根据预处理方式不同，我们分别实现了基于运动补偿的方法和基于预测的方法。其中基于运动补偿的方法通过FlowNet2.0得到的光流将前后参考帧向当前帧进行对齐，得到两个对齐帧；基于预测的方法使用自适应网络（ASCNN），根据前后重建帧预测得到当前帧的虚拟帧。对齐帧和虚拟帧都携带了大量时域信息，当前帧在空域又有高度相关性。因此，根据各自的增强策略，分别设计特征融合网络进一步融合两者信息，从而增强当前帧的质量。实验结果表明，在随机访问编码模式测试条件下，文中的两种方法与H.265/HEVC相比，平均可获得0.41 dB、0.38dB PSNR增益；与仅用单帧增强相比，分别可获得0.11 dB、0.09 dB PSNR增益；与已有的多帧增强方法(multi-frame quality enhancement, MFQE)相比，可获得0.27 dB、0.15 dB PSNR 增益，且参数量仅为MFQE的43.3%和12.2%。此外，文中方法对重建视频的主观质量也有明显改善。

 

关键词：卷积神经网络，视频增强，多帧，运动补偿，光流，虚拟帧

目  录

 

第一章 绪论 1

1.1 引言 1

1.2 压缩视频质量增强方法研究现状 2

1.2.1 基于单帧的视频增强方法 2

1.2.2 基于多帧的视频增强方法 3

第二章 基于CNN的多帧视频质量增强方法 4

2.1 基于光流的FlowNet2.0方法 4

2.1.1 折半训练策略 5

2.1.2 早期融合网络结构 5

2.2 基于虚拟帧预测的ASCNN方法 5

2.2.1 分层训练策略 6

2.2.2 渐进融合网络结构 7

第三章 实验具体设置 8

3.1 数据集 8

3.2 参数设置 8

第四章 实验结果 9

4.1 预处理方式性能与对比 9

4.1.1运动补偿性能 9

4.1.2 时间复杂度 9

4.2 多帧增强方法性能与对比 11

4.2.1 质量增强性能 11

4.2.2 时间复杂度 11

4.2.3 参数量 12

4.2.4 Loss变化曲线 12

4.3 主观质量 12

第五章 结论与思考 14

参考文献 15

致  谢 17