DCT-Net人像卡通化_测试

模型进展

目前存在两个问题：
1.训练不足导致，不同图像显示出的效果比较大，我尽量挑几张效果好的展示一下，这个之后有空再炼一炼。
2.什么风格才算是二次元风格，二次元图像纹理对于DCT-Net的影响是？这个有空我再看看。
5月1日更新v1.0.2版本
稍微炼了一下，风格似乎更明显了，或者说是更阴间了……
米游社的新活动“无尽的三月七”
安利一下目前最近比较火的人物风格化小应用，不过这个一眼就是diffusion那一套finetune出来的，和DCT-Net应该区别不小。

备注（重要！！！）

首先非常感谢隔壁上传的原神数据集和展示的模型示例！没有这个数据集我可能就懒得自己找数据集炼了（
本模型可以视作隔壁模型的另一个版本，创建这个模型起因是在使用隔壁的创应用的时候感觉有点emmm，奇怪？可能是版本问题？参数上传错了？还没调整完？
（4.30日晚更新，明白了，出现相同问题了，应该是训练不足导致的，甚至有可能只有一部分权重被实际更新了）
本模型尚在测试阶段，不过当前版本已经可以简单应用。创空间链接DCT-Net卡通化模型增加finetune
这确实是 大作业 。

效果图

常见QA

为什么效果比较奇怪？
一个是因为训练量不足，另一个原因是数据集本身原图与风格图间的映射关系不是特别明确，这个具体还得看看。

模型创建说明（重要！！！）

模型受DCT-Net人像卡通化模型-原神风启发创建
模型根据DCT-Net人像卡通化模型进行了finetune
finetune使用的数据集为DCT-Net人像卡通化-原神

模型二次开发引导

正在施工

论文｜项目主页

输入一张人物图像，实现端到端全图卡通化转换，生成二次元虚拟形象，返回卡通化后的结果图像。

使用方式和范围

使用方式：

支持GPU/CPU推理，在任意真实人物图像上进行直接推理;

使用范围:

包含人脸的人像照片（3通道RGB图像，支持PNG、JPG、JPEG格式），人脸分辨率大于100x100，总体图像分辨率小于3000×3000，低质人脸图像建议预先人脸增强处理。

目标场景:

艺术创作、社交娱乐、隐私保护场景，自动化生成卡通肖像。

如何使用

在ModelScope框架上，提供输入图片，即可以通过简单的Pipeline调用来使用人像卡通化模型-原神风格。

代码范例

import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

img_cartoon = pipeline(Tasks.image_portrait_stylization, 
                       model='lskhh/DCT_Net_finetune_on_genshin',model_revision='v1.0.2')
# 图像本地路径
#img_path = 'input.png'
# 图像url链接
img_path = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_cartoon.png'
result = img_cartoon(img_path)
cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
print('finished!')

模型局限性以及可能的偏差

低质/低分辨率人脸图像由于本身内容信息丢失严重，无法得到理想转换效果，可预先采用人脸增强模型预处理图像解决；
小样本数据涵盖场景有限，人脸暗光、阴影干扰可能会影响生成效果。

训练数据介绍

训练数据从公开数据集（COCO等）、互联网搜索人像图像，并进行标注作为训练数据。

真实人脸数据FFHQ常用的人脸公开数据集，包含7w人脸图像；
卡通人脸数据，互联网搜集，100+张

二次训练数据集：DCT-Net人像卡通化-原神头像
二次训练数据集为网络上找的数据集。

预处理

人脸关键点检测
人脸提取&对齐，得到256x256大小的对齐人脸

推理

为控制推理效率，人脸及背景resize到指定大小分别推理，再背景融合得到最终效果；
亦可将整图依据人脸尺度整体缩放到合适尺寸，直接单次推理

数据评估及结果

使用CelebA公开人脸数据集进行评测，在FID/ID/用户偏好等指标上均达SOTA结果：

Method	FID	ID	Pref.A	Pref.B
CycleGAN	57.08	0.55	7.1	1.4
U-GAT-IT	68.40	0.58	5.0	1.5
Toonify	55.27	0.62	3.7	4.2
pSp	69.38	0.60	1.6	2.5
Ours	35.92	0.71	82.6	90.5

引用

如果该模型对你有所帮助，请引用相关的论文：

@inproceedings{men2022domain,
  title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
  journal={ACM Transactions on Graphics (TOG)},
  volume={41},
  number={4},
  pages={1--9},
  year={2022}
}