BERT的中文Lite预训练模型是使用wikipedia数据和masked language model任务训练的中文自然语言理解预训练模型。
BERT是一种基于Transformer Encoder模块的双向编码表示模型。针对大规模无标注语料上,BERT通过MLM与NSP任务进行无监督预训练,可以很好地对自然语言建模。详见论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
本模型为Lite规模(Layer-6 / Hidden-512 / Head-8),参数规模约为30M。
本模型主要用于中文相关下游任务微调。用户可以基于自有训练数据进行微调。具体调用方式请参考代码示例。
在安装完成ModelScope-lib之后即可基于nlp_bert_backbone_lite_std进行下游任务finetune
from modelscope.metainfo import Preprocessors
from modelscope.msdatasets import MsDataset
from modelscope.trainers import build_trainer
from modelscope.utils.constant import Tasks
# 通过这个方法修改cfg
def cfg_modify_fn(cfg):
# 将backbone模型加载到句子相似度的模型类中
cfg.task = Tasks.sentence_similarity
# 使用句子相似度的预处理器
cfg['preprocessor'] = {'type': Preprocessors.sen_sim_tokenizer}
# 演示代码修改,正常使用不用修改
cfg.train.dataloader.workers_per_gpu = 0
cfg.evaluation.dataloader.workers_per_gpu = 0
# 补充数据集的特性
cfg['dataset'] = {
'train': {
# 实际label字段内容枚举,在训练backbone时需要传入
'labels': ['0', '1'],
# 第一个字段的key
'first_sequence': 'sentence1',
# 第二个字段的key
'second_sequence': 'sentence2',
# label的key
'label': 'label',
}
}
# lr_scheduler的配置
cfg.train.lr_scheduler.total_iters = int(len(dataset['train']) / 32) * cfg.train.max_epochs
return cfg
#使用clue的afqmc进行训练
dataset = MsDataset.load('clue', subset_name='afqmc')
kwargs = dict(
model='damo/nlp_bert_backbone_lite_std',
train_dataset=dataset['train'],
eval_dataset=dataset['validation'],
work_dir='/tmp',
cfg_modify_fn=cfg_modify_fn)
#使用nlp-base-trainer
trainer = build_trainer(name='nlp-base-trainer', default_args=kwargs)
trainer.train()
基于中文数据进行训练,模型训练数据有限,效果可能存在一定偏差。
数据来源于https://huggingface.co/datasets/wikipedia
在中文wiki等无监督数据上,通过MLM以及NSP两个辅助任务训练得到。
暂无
如果我们的模型对您有帮助,请您引用文章:
@article{devlin2018bert,
title={Bert: Pre-training of deep bidirectional transformers for language understanding},
author={Devlin, Jacob and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
journal={arXiv preprint arXiv:1810.04805},
year={2018}
}