图像描述:给定一张图片,CLIP Interrogator模型根据图片信息生成一句对应描述(Prompt)。它结合了OpenAI的CLIP和Salesforce的BLIP, 可以将产生的Prompt与文生图模型,如Stable Diffusion,一起使用,创造酷炫的艺术作品!
在安装完成MaaS-lib之后即可使用image-captioning的能力
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
model_id = 'damo/cv_clip-interrogator'
input_image = "test.png"
pipeline_ci = pipeline(Tasks.image_captioning, model=model_id)
print(pipeline_ci(input_image))
git clone https://www.modelscope.cn/damo/cv_clip-interrogator.git