该模型基于 bigscience/bloom-560m.
我们使用中文语料库将其词汇量从 250880 修剪到 42437,以减少 GPU 内存使用,现在模型总参数是389m。
在安装完成Modelscope之后即可使用text-generation的能力
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
text_generation_zh = pipeline(Tasks.text_generation, model='langboat/bloom-389m-zh', model_revision='v1.2.1')
result_zh = text_generation_zh("中国的首都是")
print(result_zh['text'])
模型在大量无监督数据上训练,没有加入下游任务,所以是通用的预训练模型,有可能产生一些偏差,请用户自行评测后决定如何使用。