RealESRGAN图像去色带
  • 模型资讯
  • 模型资料

图像去色带介绍

输入由于色彩精度不够存在色带的图片,返回去除色带后的图片。模型使用RealESRAGN网络结构进行训练,能实现较好的去除色带效果。

模型描述

在Debanding数据集的基础之上,采用RealESRGAN的网络结构进行训练。

模型结构

采用ESRGAN的基本结构,具体如下:

期望模型使用方式以及适用范围

适用于因色彩精度不够导致色带的图像,能将色带去除。

如何使用

在ModelScope框架上,提供存在色带的图片,即可以通过简单的Pipeline调用来使用图像去色带模型。

代码范例

import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

debanding = pipeline(Tasks.image_debanding, model='damo/cv_rrdb_image-debanding')
result = debanding('https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_debanding.png')
cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])

模型局限性以及可能的偏差

使用随机精度的量化降质方式虽然能模拟banding,但banding的成因有很多,例如压缩噪声等。该种降质方式并不能完全消除模拟数据与真实数据之间的domain gap,因此可能存在修复无效或产生瑕疵的情形。

训练数据介绍

数据集:HD Images Dataset with Banded and NonBanded region Information

https://github.com/akshay-kap/Meng-699-Image-Banding-detection

该数据集收集了一批高清数据,并使用随机精度对8bit图像进行量化,每一张图像都被手工标记出了 banded 区域和 nonbanded 区域:

模型训练流程

预处理

训练

数据评估及结果

Metric Set5
PSNR 37.3941
SSIM 0.9614
niqe 5.0658

相关论文以及引用信息

@inproceedings{DeepBandingIndex,
    author    = {A. Kapoor, J. Sapra and Z. Wang},
    title     = {Capturing banding in images: database construction and objective assessment},
    booktitle = {IEEE International Conference on Acoustics, Speech and Signal Processing},
    date      = {2021}
}
@inproceedings{wang2021realesrgan,
    author    = {Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
    title     = {Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
    booktitle = {International Conference on Computer Vision Workshops (ICCVW)},
    date      = {2021}
}