Bloom预训练生成模型-中文-389m
389m参数量的中文Bloom预训练生成模型
  • 模型资讯
  • 模型资料

模型描述

该模型基于 bigscience/bloom-560m.

我们使用中文语料库将其词汇量从 250880 修剪到 42437,以减少 GPU 内存使用,现在模型总参数是389m。

如何使用

在安装完成Modelscope之后即可使用text-generation的能力

代码范例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
text_generation_zh = pipeline(Tasks.text_generation, model='langboat/bloom-389m-zh', model_revision='v1.2.1')
result_zh = text_generation_zh("中国的首都是")
print(result_zh['text'])

模型局限性以及可能的偏差

模型在大量无监督数据上训练,没有加入下游任务,所以是通用的预训练模型,有可能产生一些偏差,请用户自行评测后决定如何使用。