摘  要

 

在当今社会，随着腾讯视频、抖音等视频应用的快速发展，以及监控摄像头等视频采集设备增加，视频逐渐成为互联网的主要流量，对高分辨率视频的压缩、低分辨率视频的增强需求日益扩大。目前主流采用的AV1，HEVC等编码框架，均为有损压缩，对视频画质产生了较大的影响。一般来说，我们会采用PSNR，SSIM对图像进行客观质量评价，近几年主观质量评价也逐渐兴起。如何提高视频的主客观质量是研究人员关注的热点。过去，大家大都采用传统手段对视频进行各种方式的增强，如超分辨率、插帧、HDR等。近几年随着机器学习的快速发展，大量基于CNN,RNN等神经网络的解决方案被提出，这些方案的效果相比之下高于传统方案，吸引了越来越多的研究人员使用机器学习来解决视频增强这一问。题。但是大多数情况下，人们只是把视频增强简单的理解为多次图像增强，没有考虑到视频帧之间的时空相关性。目前，最新的研究发现，合理运用视频帧之间的相关性，采用多帧融合的方式，可以在一定程度上提升视频增强的效果。

 

关键词：超分辨率，EDVR, 金字塔结构，多帧融合 

 

目  录

 

第一章 绪论 1

1.1 引言 1

1.2 基于深度学习的超分辨率处理研究现状 1

1.3 研究意义 2

1.4 研究难点 2

第二章 相关技术概述 3

2.1 开发环境 3

2.1.1 开发工具简介 3

2.1.2 环境配置 3

2.2 相关技术 3

2.2.1 pytorch相关技术特点 3

2.2.2 多帧对齐相关技术特点 3

2.2.3 Resnet相关技术特点 4

2.2.4 可变形卷积相关技术特点 4

2.2.5 损失函数相关技术特点 4

2.3 超分辨率常用算法 4

2.4 图像评价标准 5

2.4.1主观评价方法 5

2.4.2客观评价方式 5

第三章 针对AV1编码的超分辨率算法 6

3.1 EDVR算法介绍 6

3.1.1 PCD对齐模块 6

3.1.2 TSA融合模块 6

3.2 训练集准备 6

3.3 训练改进 7

3.4模型结构 7

3.5 测试结果 8

第四章 结论 10

参考文献 11

致谢 13