structbert英文完形填空模型是使用wikipedia数据和masked language model任务训练的英文自然语言理解预训练模型。
我们通过引入语言结构信息的方式,将BERT扩展为了一个新模型–StructBERT。我们通过引入两个辅助任务来让模型学习字级别的顺序信息和句子级别的顺序信息,从而更好的建模语言结构。详见论文StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding
本模型主要用于生成完形填空的结果。用户可以自行尝试各种输入文档。具体调用方式请参考代码示例。
在安装完成ModelScope-lib之后即可使用nlp_structbert_fill-mask_english-large的能力
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
fill_mask_en = pipeline(Tasks.fill_mask, model='damo/nlp_structbert_fill-mask_english-large')
result_en = fill_mask_en('Everything in [MASK] you call reality is really [MASK] a reflection of your [MASK]. Your [MASK] universe is just a mirror [MASK] of your story.')
print(result_en['text'])
模型训练数据有限,效果可能存在一定偏差。
数据来源于https://huggingface.co/datasets/bookcorpus, https://huggingface.co/datasets/wikipedia
在英文wiki等无监督数据上,通过MLM以及"模型描述"章节介绍的两个辅助任务训练了约300B字得到。
暂无
暂无
暂无
如果我们的模型对您有帮助,请您引用我们的文章:
@article{wang2019structbert,
title={Structbert: Incorporating language structures into pre-training for deep language understanding},
author={Wang, Wei and Bi, Bin and Yan, Ming and Wu, Chen and Bao, Zuyi and Xia, Jiangnan and Peng, Liwei and Si, Luo},
journal={arXiv preprint arXiv:1908.04577},
year={2019}
}