Paraformer语音识别-中文-通用-8k-离线
Paraformer是一种非自回归端到端语音识别模型。非自回归模型相比于目前主流的自回归模型，可以并行的对整条句子输出目标文字，特别适合利用GPU进行并行推理。Paraformer是目前已知的首个在工业大数据上可以获得和自回归端到端模型相同性能的非自回归模型。配合GPU推理，可以将推理效率提升10倍
- 模型资讯
- 模型资料
Highlights
- 快速：非自回归模型，配合GPU推理相对自回归模型加速比提升5~10倍。
- 准确：多个中文公开数据集上取得SOTA效果，具备工业落地能力。
- 方便：可快速轻松地基于ModelScope对模型进行微调定制和推理。
- LM模型：Transformer语言模型，可配合Paraformer-large模型进行shallow fusion解码。
- 长音频版本：Paraformer-large长音频模型，集成VAD、ASR、标点与时间戳功能，可直接对时长为数小时音频进行识别，并输出带标点文字与时间戳。
Release Notes
-
2023年1月（1月16号发布）：funasr-0.1.6, modelscope-1.2.0
- 模型功能完善：
- Modelscope模型推理pipeline，新增加多种输入音频方式，如wav.scp、音频bytes、音频采样点、WAV格式等。
- Paraformer-large模型，新增加基于ModelScope微调定制模型，新增加batch级解码，加快推理速度。
- AISHELL-1学术集Paraformer模型，
AISHELL-1学术集ParaformerBert模型，
AISHELL-1学术集Conformer模型、
AISHELL-2学术集Paraformer模型，
AISHELL-2学术集ParaformerBert模型、
AISHELL-2学术集Conformer模型，
新增加基于ModelScope微调定制模型，其中，Paraformer与ParaformerBert模型新增加batch级解码，加快推理速度。
- 上线新模型：
- Paraformer-large长音频模型，集成VAD、ASR、标点与时间戳功能，可直接对时长为数小时音频进行识别，并输出带标点文字与时间戳。
- 中文无监督预训练Data2vec模型，采用Data2vec结构，基于AISHELL-2数据的中文无监督预训练模型，支持ASR或者下游任务微调模型。
- 语音端点检查VAD模型，可用于检测长语音片段中有效语音的起止时间点。
- 中文标点预测通用模型，可用于语音识别模型输出文本的标点预测。
- 8K UniASR流式模型，8K UniASR模型，一种流式与离线一体化语音识别模型，进行流式语音识别的同时，能够以较低延时输出离线识别结果来纠正预测文本。
- Paraformer-large基于AISHELL-1微调模型、AISHELL-2微调模型，将Paraformer-large模型分别基于AISHELL-1与AISHELL-2数据微调。
- 说话人确认模型 ，可用于说话人确认，也可以用来做说话人特征提取。
- 小尺寸设备端Paraformer指令词模型，Paraformer-tiny指令词版本，使用小参数量模型支持指令词识别。
- 将原TensorFlow模型升级为Pytorch模型，进行推理，并支持微调定制，包括：
- 16K 模型：Paraformer中文、
Paraformer-large中文、
UniASR中文、
UniASR-large中文、
UniASR中文流式模型、
UniASR方言、
UniASR方言流式模型、
UniASR日语、
UniASR日语流式模型、
UniASR印尼语、
UniASR印尼语流式模型、
UniASR葡萄牙语、
UniASR葡萄牙语流式模型、
UniASR英文、
UniASR英文流式模型、
UniASR俄语、
UniASR俄语流式模型、
UniASR韩语、
UniASR韩语流式模型、
UniASR西班牙语、
UniASR西班牙语流式模型、
UniASR粤语简体、
UniASR粤语简体流式模型、 - 8K 模型：Paraformer中文、
UniASR中文、
UniASR中文流式模型
- 16K 模型：Paraformer中文、
- 模型功能完善：
-
2022年11月：funasr-0.1.4, modelscope-1.1.3
- Paraformer-large非自回归模型上线，多个公开数据集上取得SOTA效果，FunASR框架：
- 支持基于ModelScope推理。
- 支持基于FunASR框架微调和推理。
- Paraformer-large非自回归模型上线，多个公开数据集上取得SOTA效果，FunASR框架：
项目介绍
Paraformer是达摩院语音团队提出的一种高效的非自回归端到端语音识别框架。本项目为Paraformer中文通用语音识别模型，采用工业级数万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于语音输入法、语音导航、智能会议纪要等场景。
Paraformer模型结构如上图所示，由 Encoder、Predictor、Sampler、Decoder 与 Loss function 五部分组成。Encoder可以采用不同的网络结构，例如self-attention，conformer，SAN-M等。Predictor 为两层FFN，预测目标文字个数以及抽取目标文字对应的声学向量。Sampler 为无可学习参数模块，依据输入的声学向量和目标向量，生产含有语义的特征向量。Decoder 结构与自回归模型类似，为双向建模（自回归为单向建模）。Loss function 部分，除了交叉熵（CE）与 MWER 区分性优化目标，还包括了 Predictor 优化目标 MAE。
其核心点主要有：
- Predictor 模块：基于 Continuous integrate-and-fire (CIF) 的 预测器 (Predictor) 来抽取目标文字对应的声学特征向量，可以更加准确的预测语音中目标文字个数。
- Sampler：通过采样，将声学特征向量与目标文字向量变换成含有语义信息的特征向量，配合双向的 Decoder 来增强模型对于上下文的建模能力。
- 基于负样本采样的 MWER 训练准则。
更详细的细节见：
- 论文： Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition
- 论文解读：Paraformer: 高识别率、高计算效率的单轮非自回归端到端语音识别模型
如何使用与训练自己的模型
本项目提供的预训练模型是基于大数据训练的通用领域识别模型，开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库FunASR进一步进行模型的领域定制化。
在Notebook中开发
对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，进行调用。
基于ModelScope进行推理
- 推理支持音频格式如下：
- wav文件路径，例如：example/asr_example_8K.wav
- wav文件url，例如：https://modelscope.oss-cn-beijing.aliyuncs.com/test/audios/asr_example.wav
- wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。
- 已解析的audio音频，例如：audio, rate = soundfile.read(“asr_example_zh.wav”)，类型为numpy.ndarray或者torch.Tensor。
- wav.scp文件，需符合如下要求：
cat wav.scp
asr_example1 data/test/audios/asr_example1.wav
asr_example2 data/test/audios/asr_example2.wav
...
- 若输入格式wav文件url，api调用方式可参考如下范例：
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
inference_pipeline = pipeline(
task=Tasks.auto_speech_recognition,
model='damo/speech_paraformer_asr_nat-zh-cn-8k-common-vocab8358-tensorflow1')
rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_8K.wav')
print(rec_result)
- 输入音频为wav格式，api调用方式可参考如下范例:
rec_result = inference_pipeline(audio_in='./example/asr_example_8K.wav')
- 输入音频为pcm格式，调用api时需要传入音频采样率参数audio_fs，例如：
rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_8K.pcm', audio_fs=16000)
- 若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output_dir 参数将识别结果写入文件中，api调用方式可参考如下范例:
inference_pipeline = pipeline(
task=Tasks.auto_speech_recognition,
model='damo/speech_paraformer_asr_nat-zh-cn-8k-common-vocab8358-tensorflow1',
output_dir='./output_dir')
inference_pipeline(audio_in="wav.scp")
识别结果输出路径结构如下：
tree output_dir/
output_dir/
└── 1best_recog
├── rtf
├── score
├── text
└── time_stamp
1 directory, 4 files
rtf：计算过程耗时统计
score：识别路径得分
text：语音识别结果文件
time_stamp：时间戳结果文件
- 若输入音频为已解析的audio音频，api调用方式可参考如下范例：
import soundfile
waveform, sample_rate = soundfile.read("./example/asr_example_8K.wav")
rec_result = inference_pipeline(audio_in=waveform)
基于ModelScope进行微调
- 基于ModelScope上数据集进行微调：
以AISHELL-1数据集为例，完整数据集已经上传ModelScope，可通过数据集英文名（speech_asr_aishell1_trainsets）搜索：
import os
from modelscope.metainfo import Trainers
from modelscope.msdatasets import MsDataset
from modelscope.trainers import build_trainer
exp_dir = './exp'
if not os.path.exists(exp_dir):
os.makedirs(exp_dir)
# dataset split ['train', 'validation']
ds_dict = MsDataset.load(dataset_name='speech_asr_aishell1_trainsets', namespace='speech_asr')
kwargs = dict(
model='damo/speech_paraformer_asr_nat-zh-cn-8k-common-vocab8358-tensorflow1',
data_dir=ds_dict,
work_dir=exp_dir)
trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs)
trainer.train()
- 基于私有数据集进行微调:
私有数据集格式按如下准备：
tree ./example_data/
./example_data/
├── validation
│ ├── text
│ └── wav.scp
└── train
├── text
└── wav.scp
2 directories, 4 files
其中，text文件中存放音频标注，wav.scp文件中存放wav音频绝对路径，样例如下：
cat ./example_data/text
BAC009S0002W0122 而 对 楼 市 成 交 抑 制 作 用 最 大 的 限 购
BAC009S0002W0123 也 成 为 地 方 政 府 的 眼 中 钉
cat ./example_data/wav.scp
BAC009S0002W0122 /mnt/data/wav/train/S0002/BAC009S0002W0122.wav
BAC009S0002W0123 /mnt/data/wav/train/S0002/BAC009S0002W0123.wav
安装FunASR框架，安装命令如下：
git clone https://github.com/alibaba/FunASR.git
cd FunASR
pip install --editable ./
训练私有数据代码范例如下：
import os
from modelscope.metainfo import Trainers
from modelscope.trainers import build_trainer
from funasr.datasets.ms_dataset import MsDataset
def modelscope_finetune(params):
if not os.path.exists(params.output_dir):
os.makedirs(params.output_dir, exist_ok=True)
# dataset split ["train", "validation"]
ds_dict = MsDataset.load(params.data_path)
kwargs = dict(
model=params.model,
data_dir=ds_dict,
dataset_type=params.dataset_type,
work_dir=params.output_dir,
batch_bins=params.batch_bins,
max_epoch=params.max_epoch,
lr=params.lr)
trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs)
trainer.train()
if __name__ == '__main__':
from funasr.utils.modelscope_param import modelscope_args
params = modelscope_args(model="damo/speech_paraformer_asr_nat-zh-cn-8k-common-vocab8358-tensorflow1", data_path="./data")
params.output_dir = "./checkpoint" # 模型保存路径
params.data_path = "./example_data/" # 数据路径
params.dataset_type = "small" # 小数据量设置small，若数据量大于1000小时，请使用large
params.batch_bins = 2000 # batch size，如果dataset_type="small"，batch_bins单位为fbank特征帧数，如果dataset_type="large"，batch_bins单位为毫秒，
params.max_epoch = 50 # 最大训练轮数
params.lr = 0.00005 # 设置学习率
modelscope_finetune(params)
若使用多卡进行训练，可将上述代码保存为py文件（如finetune.py）后，执行如下命令：
CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py > log.txt 2>&1
在本地机器中开发
基于ModelScope进行微调和推理
支持基于ModelScope上数据集及私有数据集进行定制微调和推理，使用方式同Notebook中开发。
基于FunASR进行微调和推理
FunASR框架支持魔搭社区开源的工业级的语音识别模型的training & finetuning，使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产，目前已在Github开源：https://github.com/alibaba-damo-academy/FunASR 。若在使用过程中遇到任何问题，欢迎联系我们：联系方式
FunASR框架安装
- 安装FunASR和ModelScope
pip install "modelscope[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
git clone https://github.com/alibaba/FunASR.git
cd FunASR
pip install --editable ./
基于FunASR进行推理
接下来会以私有数据集为例，介绍如何在FunASR框架中使用Paraformer-large进行推理以及微调。
cd egs_modelscope/asr/paraformer/speech_paraformer_asr_nat-zh-cn-8k-common-vocab8358-tensorflow1
python infer.py
基于FunASR进行微调
cd egs_modelscope/asr/paraformer/speech_paraformer_asr_nat-zh-cn-8k-common-vocab8358-tensorflow1
python finetune.py
若修改输出路径、数据路径、采样率、batch_size等配置，可参照在Notebook开发中私有数据微调部分的代码，修改finetune.py文件中配置，例如：
if __name__ == '__main__':
from funasr.utils.modelscope_param import modelscope_args
params = modelscope_args(model="damo/speech_data2vec_pretrain-zh-cn-aishell2-16k-pytorch", data_path = "./data")
params.output_dir = "./checkpoint"
params.data_dir = "./example_data/"
params.batch_bins = 2000
modelscope_finetune(params)
若想使用多卡进行微调训练，可按执行如下命令：
CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py > log.txt 2>&1
数据评估及结果
| model | clean（CER%） | common（CER%） | RTF |
|---|---|---|---|
| Paraformer | 3.7 | 7.9 | 0.0093 |
使用方式以及适用范围
使用方式
- 直接推理：可以直接对输入音频进行解码，输出目标文字。
- 微调：加载训练好的模型，采用私有或者开源数据进行模型训练。
使用范围与目标场景
- 适合与离线语音识别场景，如录音文件转写，配合GPU推理效果更加，输入音频时长小于15s。
模型局限性以及可能的偏差
考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%），推理GPU环境差异导致的RTF数值差异。
相关论文以及引用信息
@inproceedings{gao2022paraformer,
title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
author={Gao, Zhifu and Zhang, Shiliang and McLoughlin, Ian and Yan, Zhijie},
booktitle={INTERSPEECH},
year={2022}
}