孟子T5预训练生成模型-中文-base-多任务

孟子T5多任务模型在mengzi-t5-base的基础上，进一步使用27个数据集和301种prompt进行了多任务的混合训练。

关于孟子T5预训练生成模型的更多信息可参考论文：Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese

模型描述

孟子多任务模型提供出色的 Zero-Shot 及 Few-Shot 能力，以 0.22B 的轻量化模型在 ZeroCLUE 和 FewCLUE 榜单均排名第一。
不仅可以实现“一个模型完成多个任务”，还具备极强的泛化能力，无需大量标注数据就可以完成新任务适配，在应用上能够让模型研发和部署维护更加轻量化。

clue榜单结果（2022-08-22）

ZeroCLUE

FewCLUE

实际场景验证

孟子多任务模型基于用户私有数据及各个领域（包括金融、医疗）的任务训练，在大量实际场景中得到验证。
下图展示了 Mengzi-T5-base-MT 模型在金融实体关系抽取任务的示例：

更多模型能力展示

如何使用

from modelscope.models import Model
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

pipeline_ins = pipeline(task=Tasks.text2text_generation, model='langboat/mengzi-t5-base-mt')
result = pipeline_ins(input='中国的首都位于<extra_id_0>。')
print (result)
#{'text': '北京'}


from modelscope.models.nlp import T5ForConditionalGeneration
from modelscope.preprocessors import TextGenerationTransformersPreprocessor
model = T5ForConditionalGeneration.from_pretrained('langboat/mengzi-t5-base-mt')
preprocessor = TextGenerationTransformersPreprocessor(model.model_dir)
pipeline_ins = pipeline(
    task=Tasks.text2text_generation,
    model=model,
    preprocessor=preprocessor)
print(pipeline_ins('中国的首都位于<extra_id_0>。'))
#{'text': '北京'}

相关论文以及引用信息

@misc{zhang2021mengzi,
      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, 
      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}