本项目为CLIP模型的中文版本,使用大规模中文数据进行训练(~2亿图文对),可用于图文检索和图像、文本的表征提取,应用于搜索、推荐等应用场景。
更多技术细节可以参考我们的技术报告和Github开源代码。
CLIP模型是来自OpenAI的经典图文表征模型,其采用双塔模型结构(如下图),利用大规模图文对平行语料进行对比学习,从而能够实现图片和文本的跨模态语义特征抽取。
原始的CLIP模型基于英文图文语料,不能用于中文的图文表征提取场景。本项目以英文CLIP视觉侧参数和中文Roberta参数,作为模型初始化值。
基于大规模原生中文图文数据,通过如下图所示的二阶段预训练策略(一阶段仅训练文本侧,二阶段同时训练),实现了CLIP模型的中文化版本。未来将在此持续更新。
本系列还有如下模型,欢迎试用:
提取特征不过区区数行代码,就可以通过我们的服务得到图像或文本的特征。如果你觉得还不够方便,请点击右上角Notebook
按钮,我们为你提供了配备了GPU的环境,你只需要在notebook里输入提供的代码,就可以把中文CLIP玩起来了!
注:使用Notebook
要验证下当前modelscope的版本号,如果版本低于1.0.2,可以点击更新镜像并启动,如下图所示:
让我们开始代码实例
# require modelscope>=0.3.7,目前默认已经超过,您检查一下即可
# 按照更新镜像的方法处理或者下面的方法
# pip install --upgrade modelscope -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
# 需要单独安装decord,安装方法:pip install decord
import torch
from modelscope.utils.constant import Tasks
from modelscope.pipelines import pipeline
from modelscope.preprocessors.image import load_image
pipeline = pipeline(task=Tasks.multi_modal_embedding,
model='damo/multi-modal_clip-vit-huge-patch14_zh', model_revision='v1.0.0')
input_img = load_image('https://yangan2.oss-cn-beijing.aliyuncs.com/pokemon.jpeg') # 支持皮卡丘示例图片路径/本地图片 返回PIL.Image
input_texts = ["杰尼龟", "妙蛙种子", "小火龙", "皮卡丘"]
# 支持一张图片(PIL.Image)或多张图片(List[PIL.Image])输入,输出归一化特征向量
img_embedding = pipeline.forward({'img': input_img})['img_embedding'] # 2D Tensor, [图片数, 特征维度]
# 支持一条文本(str)或多条文本(List[str])输入,输出归一化特征向量
text_embedding = pipeline.forward({'text': input_texts})['text_embedding'] # 2D Tensor, [文本数, 特征维度]
# 计算图文相似度
with torch.no_grad():
# 计算内积得到logit,考虑模型temperature
logits_per_image = (img_embedding / pipeline.model.temperature) @ text_embedding.t()
# 根据logit计算概率分布
probs = logits_per_image.softmax(dim=-1).cpu().numpy()
print("图文匹配概率:", probs)
我们实现的中文版本CLIP在多个公开数据集上取得杰出的效果,基本超出市面同类型baseline模型,同时整体效果优于我们先前推出的Large和Large336规模,尤其是zero-shot文搜图水平显著提升。
具体评测数据集包括MUGE(欢迎访问官网),Flickr30K-CN和COCO-CN,结果如下所示:
Setup | Zero-shot | Finetune | ||||||
---|---|---|---|---|---|---|---|---|
Metric | R@1 | R@5 | R@10 | MR | R@1 | R@5 | R@10 | MR |
CN-CLIPViT-L | 56.3 | 79.8 | 86.2 | 74.1 | 63.3 | 85.6 | 91.3 | 80.1 |
CN-CLIPViT-H | 63.0 | 84.1 | 89.2 | 78.8 | 68.9 | 88.7 | 93.1 | 83.6 |
Task | Text-to-Image | Image-to-Text | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
Setup | Zero-shot | Finetune | Zero-shot | Finetune | ||||||||
Metric | R@1 | R@5 | R@10 | R@1 | R@5 | R@10 | R@1 | R@5 | R@10 | R@1 | R@5 | R@10 |
CN-CLIPViT-L | 68.0 | 89.7 | 94.4 | 82.7 | 96.7 | 98.6 | 80.2 | 96.6 | 98.2 | 96.1 | 99.5 | 99.9 |
CN-CLIPViT-H | 71.2 | 91.4 | 95.5 | 83.8 | 96.9 | 98.6 | 81.6 | 97.5 | 98.8 | 95.3 | 99.7 | 100.0 |
Task | Text-to-Image | Image-to-Text | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
Setup | Zero-shot | Finetune | Zero-shot | Finetune | ||||||||
Metric | R@1 | R@5 | R@10 | R@1 | R@5 | R@10 | R@1 | R@5 | R@10 | R@1 | R@5 | R@10 |
CN-CLIPViT-L | 64.0 | 89.2 | 94.4 | 78.9 | 96.3 | 99.0 | 60.4 | 84.2 | 92.9 | 80.2 | 96.7 | 99.2 |
CN-CLIPViT-H | 69.2 | 89.9 | 96.1 | 81.5 | 96.9 | 99.1 | 63.0 | 86.6 | 92.9 | 83.5 | 97.3 | 99.2 |
本模型训练数据集是预训练数据集。
finetune具体方法请您查阅中文CLIP Tutorial 3.3节。
使用方式:
使用场景:
训练数据集自身有局限,有可能产生一些偏差,请用户自行评测后决定如何使用。
关于中文clip,我们已经推出了相关论文,有更多细节可以查阅,如对您的工作有帮助,欢迎引用。
@article{chinese-clip,
title={Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese},
author={Yang, An and Pan, Junshu and Lin, Junyang and Men, Rui and Zhang, Yichang and Zhou, Jingren and Zhou, Chang},
journal={arXiv preprint arXiv:2211.01335},
year={2022}
}