PALM模型是一个通用的预训练生成模型,可以用于解决下游各种类型的生成任务。模型利用大量无监督数据,通过结合自编码和自回归任务进行预训练。可以用于解决文本生成相关的任务包含:文本摘要、问题生成、data-to-text等。此处我们提供PALM的一个base backbone模型,可用于下游生成任务的fine-tune。
针对实际场景中常见的文本生成需求,自主研发了PALM预训练语言生成模型。该模型通过在大规模文本上预训练得到,可作为下游自然语言生成任务的模型参数输入,以帮助提升下游任务的生成效果。PALM具有以下特点:
本模型是PALM通用预训练生成模型,可以用于所有的中文生成场景的训练,如data-to-text,摘要生成等。PALM模型介绍,详见:PALM:Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
本模型主要用于多种下游生成场景。用户可以自行构造生成的输入输出训练数据。具体调用方式请参考代码示例。
模型在数据集上训练,有可能产生一些偏差,请用户自行评测后决定如何使用。
本模型是由大量中文无监督数据训练而成,在中文的下游多个生成任务上取得SOTA。
模型采用2张NVIDIA V100机器训练, 超参设置如下:
train_epochs=15
max_sequence_length=128
batch_size=8
learning_rate=1e-3
optimizer=AdamW
import tempfile
from modelscope.msdatasets import MsDataset
from modelscope.metainfo import Trainers
from modelscope.trainers import build_trainer
# DuReader_robust-QG 为示例数据集,用户也可以使用自己的数据集进行训练
dataset_dict = MsDataset.load('DuReader_robust-QG')
# 训练数据的输入出均为文本,需要将数据集预处理为输入为 src_txt,输出为 tgt_txt 的格式:
train_dataset = dataset_dict['train'].remap_columns({'text1': 'src_txt', 'text2': 'tgt_txt'})
eval_dataset = dataset_dict['validation'].remap_columns({'text1': 'src_txt', 'text2': 'tgt_txt'})
# 用户自己数据集构造
# train_dataset_dict = {"src_txt": ["text1", "text2"], "tgt_txt": ["text1", "text2"]}
# eval_dataset_dict = {"src_txt": ["text1", "text2"], "tgt_txt": ["text1", "text2"]}
# train_dataset = MsDataset(Dataset.from_dict(train_dataset_dict))
# eval_dataset = MsDataset(Dataset.from_dict(eval_dataset_dict))
num_warmup_steps = 500
def noam_lambda(current_step: int):
current_step += 1
return min(current_step**(-0.5),
current_step * num_warmup_steps**(-1.5))
# 可以在代码修改 configuration 的配置
def cfg_modify_fn(cfg):
cfg.train.lr_scheduler = {
'type': 'LambdaLR',
'lr_lambda': noam_lambda,
'options': {
'by_epoch': False
}
}
cfg.train.optimizer = {
"type": "AdamW",
"lr": 1e-3,
"options": {}
}
cfg.train.max_epochs = 15
cfg.train.dataloader = {
"batch_size_per_gpu": 8,
"workers_per_gpu": 1
}
return cfg
kwargs = dict(
model='damo/nlp_palm2.0_pretrained_chinese-base',
train_dataset=train_dataset,
eval_dataset=eval_dataset,
work_dir=tempfile.TemporaryDirectory().name,
cfg_modify_fn=cfg_modify_fn)
trainer = build_trainer(
name=Trainers.text_generation_trainer, default_args=kwargs)
trainer.train()
模型在LCSTS测试数据评估结果
Rouge-1 | Rouge-2 | Rouge-L |
---|---|---|
43.31 | 28.81 | 39.78 |
模型在ADGEN测试数据评估结果
Bleu-4 | Rouge-1 | Rouge-L |
---|---|---|
10.9 | 43.59 | 27.49 |
如果我们的模型对您有帮助,请您引用我们的文章:
@inproceedings{bi-etal-2020-palm,
title = "{PALM}: Pre-training an Autoencoding & Autoregressive Language Model for Context-conditioned Generation",
author = "Bi, Bin and
Li, Chenliang and
Wu, Chen and
Yan, Ming and
Wang, Wei and
Huang, Songfang and
Huang, Fei and
Si, Luo",
booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
month = nov,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2020.emnlp-main.700",
doi = "10.18653/v1/2020.emnlp-main.700",
pages = "8681--8691"}