Redshift渲染器风格-扩散生成模型
  • 模型资讯
  • 模型资料

Redshift Diffusion

本模型自 Stable Diffusion 在高分辨率3D艺术图像数据集上微调而来。在 prompt 中加入 redshift style 可以在生成图像中实现该效果。

模型名字来源:我使用Cinema4D作为我的首选建模软件已经有很长一段时间了,并且一直喜欢它所带来的resshift渲染。这就是为什么我看到基础SD模型在使用redshift token生成的糟糕结果时非常难过。这是我为解决这个问题所做的尝试,也显示了我对这个渲染引擎的热情。

一些生成效果图:

Tony Stark 的prompt与设置:

(redshift style) robert downey jr as ironman Negative prompt: glasses helmet

Steps: 40, Sampler: DPM2 Karras, CFG scale: 7, Seed: 908018284, Size: 512x704

Ford Mustang 的prompt与设置:

redshift style Ford Mustang

Steps: 20, Sampler: DPM2 Karras, CFG scale: 7, Seed: 579593863, Size: 704x512

该模型使用diffusers自带的dreambooth样例代码(作者ShivamShrirao)训练11000个step而来。训练过程中使用了prior-preservation loss 和 train-text-encoder 选项。

使用方法:

from modelscope.utils.constant import Tasks
from modelscope.pipelines import pipeline
import cv2

pipe = pipeline(task=Tasks.text_to_image_synthesis, 
                model='dienstag/redshift-diffusion',
                model_revision='v1.0')

prompt = 'redshift style magical princess with golden hair'
output = pipe({'text': prompt})
cv2.imwrite('result.png', output['output_imgs'][0])

License

这个模型是开放的,所有人都可以使用,CreativeML OpenRAIL-M许可证进一步规定了权利和使用。CreativeML OpenRAIL许可证规定了:

  1. 你不能使用这个模型来故意产生或分享非法或有害的输出或内容。
  2. 作者对你产生的输出结果没有任何权利,你可以自由使用它们,并对它们的使用负责,但不得违反许可证中的规定。
  3. 你可以重新发布模型权重,并在商业上作为一项服务使用该模型。如果你这样做,请注意你必须包括与许可证中相同的使用限制,并将CreativeML OpenRAIL-M的副本分享给你的所有用户(请完全仔细阅读许可证)。 请在这里阅读完整的许可证