基于SRResNet改进的轻量级视频超分模型

模型描述

本模型以SRResNet为基础网络，参考EDSR方式对模型结构进行改进，使用前降采样模块降低特征图分辨率，用堆叠残差模块提取特征，最后使用两次pixelshuffle操作与重建模块提升分辨率，得到2倍放大的超分效果。

期望模型使用方式以及适用范围

本模型使用于一般视频超分辨率。

如何使用

在ModelScope框架上，提供输入视频，即可通过简单的Pipeline调用来使用。

代码范例

from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

video = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/videos/000.mp4'
video_super_resolution_pipeline = pipeline(
    Tasks.video_super_resolution,
    'damo/cv_msrresnet_video-super-resolution_lite')
result = video_super_resolution_pipeline(video)[OutputKeys.OUTPUT_VIDEO]

模型局限性以及可能的偏差

模型对于大部分真实场景效果良好，对于部分降质严重或者非常见视频降质的情况可能表现不佳。

训练数据介绍

本模型使用从网络收集的高清视频数据，并进行自适应退化得到训练数据对。

相关论文以及引用信息

如果你觉得这个模型对你有所帮助，请考虑引用下面的相关论文：

@inproceedings{lim2017enhanced,
  title={Enhanced deep residual networks for single image super-resolution},
  author={Lim, Bee and Son, Sanghyun and Kim, Heewon and Nah, Seungjun and Mu Lee, Kyoung},
  booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition workshops},
  pages={136--144},
  year={2017}
}
@inproceedings{Ledig_2017_CVPR,
  author = {Ledig, Christian and Theis, Lucas and Huszar, Ferenc and Caballero, Jose and Cunningham, Andrew and Acosta, Alejandro and Aitken, Andrew and Tejani, Alykhan and Totz,   Johannes and Wang, Zehan and Shi, Wenzhe},
  title = {Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network},
  booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {July},
  year = {2017}
}