- 模型资讯
- 模型资料
OFA-图像描述(英文)
News
- 2022年11月：
- 发布ModelScope 1.0版本，以下能力请使用1.0.2及以上版本。
- 新增OFA Tutorial。
图像描述是什么？
如果你希望为一张图片配上一句文字，或者打个标签，OFA模型就是你的绝佳选择。你只需要输入任意1张你的图片，很快你就能收获一段精准的描述。
本系列还有如下模型，欢迎试用：
快速玩起来
玩转OFA只需区区以下6行代码，就是如此轻松！如果你觉得还不够方便，请点击右上角Notebook按钮，我们为你提供了配备了的环境，CPU和GPU都支持哦，你只需要在notebook里输入提供的代码，就可以把OFA玩起来了!
注：因为本模型参数量大小6B，所以需要显存大于40G的GPU机器。
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.outputs import OutputKeys
img_captioning = pipeline(Tasks.image_captioning, model='damo/ofa_image-caption_coco_6b_en', model_revision='v1.0.0')
result = img_captioning('https://shuangqing-public.oss-cn-zhangjiakou.aliyuncs.com/donuts.jpg')
print(result[OutputKeys.CAPTION]) #
OFA是什么？
OFA(One-For-All)是通用多模态预训练模型，使用简单的序列到序列的学习框架统一模态（跨模态、视觉、语言等模态）和任务（如图片生成、视觉定位、图片描述、图片分类、文本生成等），详见我们发表于ICML 2022的论文：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework，以及我们的官方Github仓库https://github.com/OFA-Sys/OFA。
OFA模型规模：
| Model | Params-en | Params-zh | Backbone | Hidden size | Intermediate size | Num. of heads | Enc layers | Dec layers |
|---|---|---|---|---|---|---|---|---|
| OFATiny | 33M | - | ResNet50 | 256 | 1024 | 4 | 4 | 4 |
| OFAMedium | 93M | - | ResNet101 | 512 | 2048 | 8 | 4 | 4 |
| OFABase | 180M | 160M | ResNet101 | 768 | 3072 | 12 | 6 | 6 |
| OFALarge | 470M | 440M | ResNet152 | 1024 | 4096 | 16 | 12 | 12 |
| OFAHuge | 930M | - | ResNet152 | 1280 | 5120 | 16 | 24 | 12 |
| OFA6B | 6B | - | ViT-huge | 2560 | 10240 | 32 | 36 | 24 |
为什么OFA是图像描述的最佳选择？
OFA在图像描述（image captioning）任务的权威数据集Microsoft COCO Captions官方榜单成功登顶（6B模型还在优化中，目前没有测试集的分）想看榜单，点这里），并在经典测试集Karpathy test split取得CIDEr 154.9的分数。具体如下：
| Stage | Cross Entropy Optimization | CIDEr Optimization | ||||||
|---|---|---|---|---|---|---|---|---|
| Metric | BLEU-4 | METEOR | CIDEr | SPICE | BLEU-4 | METEOR | CIDEr | SPICE |
| OFABase | 41.0 | 30.9 | 138.2 | 24.2 | 42.8 | 31.7 | 146.7 | 25.8 |
| OFALarge | 42.4 | 31.5 | 142.2 | 24.5 | 43.6 | 32.2 | 150.7 | 26.2 |
| OFAHuge | 43.9 | 31.8 | 145.3 | 24.8 | 44.9 | 32.5 | 154.9 | 26.6 |
模型训练流程
训练数据介绍
本模型训练数据集是MS COCO Caption。
训练流程
finetune能力请参考OFA Tutorial 1.4节。
模型局限性以及可能的偏差
训练数据集自身有局限，有可能产生一些偏差，请用户自行评测后决定如何使用。
相关论文以及引用
如果你觉得OFA好用，喜欢我们的工作，欢迎引用：
@article{wang2022ofa,
author = {Peng Wang and
An Yang and
Rui Men and
Junyang Lin and
Shuai Bai and
Zhikang Li and
Jianxin Ma and
Chang Zhou and
Jingren Zhou and
Hongxia Yang},
title = {OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence
Learning Framework},
journal = {CoRR},
volume = {abs/2202.03052},
year = {2022}
}