使用300G中文预训练语料进行训练
本模型主要用于多种场景输入的生成和续写。比如用户可以自行尝试输入各种内容,然后让模型去回答、续写或者根据指令回复
在安装完成Modelscope之后即可使用text-generation的能力
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
text_generation_zh = pipeline(Tasks.text_generation, model='langboat/mengzi-gpt-neo-base', model_revision='v1.1.0')
result_zh = text_generation_zh("中国的首都是", do_sample=True,top_k=5,top_p=1,max_length=20,repetition_penalty=0.5)
print(result_zh['text'])
模型在大量无监督数据上训练,没有加入下游任务,所以是通用的预训练模型,有可能产生一些偏差,请用户自行评测后决定如何使用。