为了对 VoP 进行全方位验证,我们复现了一系列对比方法并纳入VoP的代码架构。这些其他研究者公布的模型也有非常高的使用价值,且可用于独立的 Encoder 页面中以 Leadboard 形式呈现,方便后续研究者follow。本 MODEL CARD 【VoP: 通用跨模态视频检索模型-系列-bias】,是对 Visual Prompt Tuning (ECCV 2022) 在 video-text retrieval task 下的 projection 模型的 复现 。
系列工作:
VoP是第一个同时具有视频和文字Prompt的端到端视频文本跨模态检索框架,基于Prompt的高效微调与完全微调相比,VoP利用0.1%的训练参数在5个公开的数据集(MSR-VTT-9k, MSR-VTT-7k, DiDeMo, ActivityNet, LSMDC)中获得了1.4%的平均R@1增益,参数开销却减少了6倍。VoP可以实现输入一段自然语言文本做视频特征检索,返回最相关的视频,或是输入一支本地视频做文本特征检索,返回最相关的文本。
利用VoP实现文本(自然语言)直接搜索视频的可视化样例,如下所示:
VoP是基于CLIP的快速微调框架,可以适用于任何需要做视频文本跨模态检索的“视频-文本对”数据当中。
import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
vop_pipeline = pipeline(Tasks.vop_retrieval,
model='damo/cv_vit-b32_retrieval_vop_proj')
# 输入文本query
input_text = 'a squid is talking'
# 运行pipeline获得结果
result = vop_pipeline(input_text)
print(f'vop output: {result}.')
print('finished!')
import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
vop_pipeline = pipeline(Tasks.vop_retrieval,
model='damo/cv_vit-b32_retrieval_vop_proj')
# 输入视频名称
# 如果自定义视频,请放到 'damo/cv_vit-b32_retrieval_vop_proj' 根目录下即可
input_video = 'video10.mp4'
# 运行pipeline获得结果
result = vop_pipeline(input_video)
print(f'vop output: {result}.')
print('finished!')
VoP在5个公开数据集上的评估结果如下,红色表示相对于基线(全量微调)是负向性能变化,绿色表示正向,"Ours"括号内的是VoP的结果:
如果该模型对您有所帮助,请引用下面的相关的论文:
@inproceedings{Huang2022VoP,
title = {VoP: Text-Video Co-operative Prompt Tuning for Cross-Modal Retrieval},
author = {Siteng Huang and Biao Gong and Yulin Pan and Jianwen Jiang and Yiliang Lv and Yuyuan Li and Donglin Wang},
journal = {CVPR 2023},
year = {2023}
}
@inproceedings{jia2022visual,
title={Visual prompt tuning},
author={Jia, Menglin and Tang, Luming and Chen, Bor-Chun and Cardie, Claire and Belongie, Serge and Hariharan, Bharath and Lim, Ser-Nam},
booktitle={Computer Vision--ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23--27, 2022, Proceedings, Part XXXIII},
pages={709--727},
year={2022},
organization={Springer}
}