孟子GPT-NEO预训练生成模型
使用300G Chinese corpus语料进行训练的中文GPT-Neo模型
  • 模型资讯
  • 模型资料

模型描述

使用300G中文预训练语料进行训练

本模型主要用于多种场景输入的生成和续写。比如用户可以自行尝试输入各种内容,然后让模型去回答、续写或者根据指令回复

如何使用

在安装完成Modelscope之后即可使用text-generation的能力

代码范例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
text_generation_zh = pipeline(Tasks.text_generation, model='langboat/mengzi-gpt-neo-base', model_revision='v1.1.0')
result_zh = text_generation_zh("中国的首都是", do_sample=True,top_k=5,top_p=1,max_length=20,repetition_penalty=0.5)
print(result_zh['text'])

模型局限性以及可能的偏差

模型在大量无监督数据上训练,没有加入下游任务,所以是通用的预训练模型,有可能产生一些偏差,请用户自行评测后决定如何使用。