- 模型资讯
- 模型资料
Paraformer-large-热词版模型介绍
Highlights
Paraformer-large热词版模型支持热词定制功能：实现热词定制化功能，基于提供的热词列表进行激励增强，提升热词的召回率和准确率。
- Parformer-large模型：非自回归语音识别模型，多个中文公开数据集上取得SOTA效果，可快速地基于ModelScope对模型进行微调定制和推理。
- Paraformer-large长音频模型：集成VAD、ASR、标点与时间戳功能，可直接对时长为数小时音频进行识别，并输出带标点文字与时间戳。
ModelScope-FunASR
FunASR希望在语音识别方面建立学术研究和工业应用之间的桥梁。通过支持在ModelScope上发布的工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并促进语音识别生态系统的发展。
最新动态
| 环境安装
| 介绍文档
| 中文教程
| 服务部署
| 模型库
| 联系我们
项目介绍
Paraformer是达摩院语音团队提出的一种高效的非自回归端到端语音识别框架。本项目为Paraformer中文通用语音识别模型，采用工业级数万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于语音输入法、语音导航、智能会议纪要等场景。
Paraformer模型结构如上图所示，由 Encoder、Predictor、Sampler、Decoder 与 Loss function 五部分组成。Encoder可以采用不同的网络结构，例如self-attention，conformer，SAN-M等。Predictor 为两层FFN，预测目标文字个数以及抽取目标文字对应的声学向量。Sampler 为无可学习参数模块，依据输入的声学向量和目标向量，生产含有语义的特征向量。Decoder 结构与自回归模型类似，为双向建模（自回归为单向建模）。Loss function 部分，除了交叉熵（CE）与 MWER 区分性优化目标，还包括了 Predictor 优化目标 MAE。
其核心点主要有：
- Predictor 模块：基于 Continuous integrate-and-fire (CIF) 的 预测器 (Predictor) 来抽取目标文字对应的声学特征向量，可以更加准确的预测语音中目标文字个数。
- Sampler：通过采样，将声学特征向量与目标文字向量变换成含有语义信息的特征向量，配合双向的 Decoder 来增强模型对于上下文的建模能力。
- 基于负样本采样的 MWER 训练准则。
更详细的细节见：
- 论文： Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition
- 论文解读：Paraformer: 高识别率、高计算效率的单轮非自回归端到端语音识别模型
如何使用与训练自己的模型
本项目提供的预训练模型是基于大数据训练的通用领域识别模型，开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库FunASR进一步进行模型的领域定制化。
在Notebook中开发
对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，进行调用。
基于ModelScope进行推理
- 推理支持音频格式如下：
- wav文件路径，例如：data/test/audios/asr_example_hotword.wav
- pcm文件路径，例如：data/test/audios/asr_example_hotword.pcm
- wav文件url，例如：https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_hotword.wav
- wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。
- 已解析的audio音频，例如：audio, rate = soundfile.read(“asr_example_hotword.wav”)，类型为numpy.ndarray或者torch.Tensor。
- wav.scp文件，需符合如下要求：
cat wav.scp
asr_example1 data/test/audios/asr_example1.wav
asr_example2 data/test/audios/asr_example2.wav
...
-
推理支持热词文件格式如下：
- 字符串str，以空格为间隔，例如：param_dict[‘hotword’]=“邓郁松 王颖春 王晔君”
- txt文件路径，文件中每行包含一个热词，例如：param_dict[‘hotword’]=“data/test/hotword.txt”
- txt文件url，文件中每行包含一个热词，例如：param_dict[‘hotword’]=“https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/hotword.txt”
-
若输入格式wav文件url，api调用方式可参考如下范例：
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
param_dict = dict()
param_dict['hotword'] = "https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/hotword.txt"
inference_pipeline = pipeline(
task=Tasks.auto_speech_recognition,
model="damo/speech_paraformer-large-contextual_asr_nat-zh-cn-16k-common-vocab8404",
param_dict=param_dict)
rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_hotword.wav')
print(rec_result)
- 输入音频为pcm格式，调用api时需要传入音频采样率参数audio_fs，例如：
rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_hotword.pcm', audio_fs=16000)
- 若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output_dir 参数将识别结果写入文件中，并可设置解码batch_size，参考示例如下：
inference_pipeline = pipeline(
task=Tasks.auto_speech_recognition,
model="damo/speech_paraformer-large-contextual_asr_nat-zh-cn-16k-common-vocab8404",
param_dict=param_dict,
output_dir='./output_dir',
batch_size=32)
inference_pipeline(audio_in="wav.scp")
识别结果输出路径结构如下：
tree output_dir/
output_dir/
└── 1best_recog
├── rtf
├── score
└── text
1 directory, 3 files
rtf：计算过程耗时统计
score：识别路径得分
text：语音识别结果文件
- 若输入音频为已解析的audio音频，api调用方式可参考如下范例：
import soundfile
waveform, sample_rate = soundfile.read("asr_example_hotword.wav")
rec_result = inference_pipeline(audio_in=waveform)
- AISHELL-1热词测试集效果测试
我们从学术数据集AISHELL-1的测试(test)集中，抽取了235条包含实体词的音频，其中实体词187个，组成了AISHELL-1的test子集作为热词测试集，并上传到ModelScope的中文语音识别Aishell-1学术数据集热词测试集，来体验定制化热词的效果，代码示例如下：
import os
import tempfile
import codecs
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.msdatasets import MsDataset
if __name__ == '__main__':
param_dict = dict()
param_dict['hotword'] = "https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/hotword.txt"
output_dir = "./output"
batch_size = 1
# dataset split ['test']
ds_dict = MsDataset.load(dataset_name='speech_asr_aishell1_hotwords_testsets', namespace='speech_asr')
work_dir = tempfile.TemporaryDirectory().name
if not os.path.exists(work_dir):
os.makedirs(work_dir)
wav_file_path = os.path.join(work_dir, "wav.scp")
with codecs.open(wav_file_path, 'w') as fin:
for line in ds_dict:
wav = line["Audio:FILE"]
idx = wav.split("/")[-1].split(".")[0]
fin.writelines(idx + " " + wav + "\n")
audio_in = wav_file_path
inference_pipeline = pipeline(
task=Tasks.auto_speech_recognition,
model="damo/speech_paraformer-large-contextual_asr_nat-zh-cn-16k-common-vocab8404",
output_dir=output_dir,
batch_size=batch_size,
param_dict=param_dict)
rec_result = inference_pipeline(audio_in=audio_in)
- ASR、VAD、PUNC模型自由组合
可根据使用需求对VAD和PUNC标点模型进行自由组合，使用方式如下：
param_dict = dict()
param_dict['hotword'] = "https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/hotword.txt"
inference_pipeline = pipeline(
task=Tasks.auto_speech_recognition,
model='damo/speech_paraformer-large-contextual_asr_nat-zh-cn-16k-common-vocab8404',
vad_model='damo/speech_fsmn_vad_zh-cn-16k-common-pytorch',
vad_model_revision="v1.1.8",
punc_model='damo/punc_ct-transformer_zh-cn-common-vocab272727-pytorch',
param_dict=param_dict,
)
若不使用PUNC模型，可配置punc_model=“”，或不传入punc_model参数，如需加入LM模型，可增加配置lm_model=‘damo/speech_transformer_lm_zh-cn-common-vocab8404-pytorch’>。
长音频版本模型默认开启时间戳，若不使用时间戳，可通过传入参数param_dict[‘use_timestamp’] = False关闭时间戳，使用方式如下：
param_dict['use_timestamp'] = False
rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_vad_punc_example.wav', param_dict=param_dict)
)
在本地机器中开发
基于ModelScope进行推理
本地支持基于ModelScope推理，使用方式同Notebook中开发。
基于FunASR进行推理
FunASR框架支持魔搭社区开源的工业级的语音识别模型的training & finetuning，使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产，目前已在Github开源：https://github.com/alibaba-damo-academy/FunASR 。若在使用过程中遇到任何问题，欢迎联系我们：联系方式
FunASR框架安装
- 安装FunASR和ModelScope
pip3 install -U modelscope
git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip3 install -e ./
基于FunASR进行推理
接下来会以私有数据集为例，介绍如何在FunASR框架中使用Paraformer-large热词模型进行推理。
cd egs_modelscope/asr/paraformer/speech_paraformer-large-contextual_asr_nat-zh-cn-16k-common-vocab8404
# 配置infer.py中的待识别音频(audio_in)、热词列表(param_dict['hotword'])、输出路径(output_dir)、batch_size参数后，执行：
python infer.py
Benchmark
结合大数据、大模型优化的Paraformer在一序列语音识别的benchmark上获得当前SOTA的效果，以下展示学术数据集AISHELL-1、AISHELL-2、WenetSpeech，公开评测项目SpeechIO TIOBE白盒测试场景的效果。在学术界常用的中文语音识别评测任务中，其表现远远超于目前公开发表论文中的结果，远好于单独封闭数据集上的模型。
实体词测试集
我们从学术数据集AISHELL-1的测试(test)集中，抽取了235条包含实体词的音频，其中实体词187个，组成了AISHELL-1的test子集作为热词测试集，并已经上传到ModelScope的中文语音识别Aishell-1学术数据集热词测试集。在test子集上比较了无热词&热词时模型的效果，执行代码可参考FunASR框架中infer_aishell1_subtest_demo.py文件：
| AISHELL-1 test | CER | Recall | Precision | F1-score |
|---|---|---|---|---|
test子集 without 热词 |
10.01 |
0.16 |
1.0 |
0.27 |
test子集 with 热词 |
4.55 |
0.74 |
1.0 |
0.85 |
AISHELL-1
| AISHELL-1 test | w/o LM | w/ LM |
|---|---|---|
Espnet |
4.90 |
4.70 |
Wenet |
4.61 |
4.36 |
K2 |
- |
4.26 |
Blockformer |
4.29 |
4.05 |
Paraformer-large |
1.95 |
1.68 |
AISHELL-2
| dev_ios | test_android | test_ios | test_mic | |
|---|---|---|---|---|
Espnet |
5.40 |
6.10 |
5.70 |
6.10 |
WeNet |
- |
- |
5.39 |
- |
Paraformer-large |
2.80 |
3.13 |
2.85 |
3.06 |
Wenetspeech
| dev | test_meeting | test_net | |
|---|---|---|---|
Espnet |
9.70 |
15.90 |
8.80 |
WeNet |
8.60 |
17.34 |
9.26 |
K2 |
7.76 |
13.41 |
8.71 |
Paraformer-large |
3.57 |
6.97 |
6.74 |
SpeechIO TIOBE
Paraformer-large模型结合Transformer-LM模型做shallow fusion，在公开评测项目SpeechIO TIOBE白盒测试场景上获得当前SOTA的效果，目前Transformer-LM模型已在ModelScope上开源，以下展示SpeechIO TIOBE白盒测试场景without LM、with Transformer-LM的效果：
- Decode config w/o LM:
- Decode without LM
- Beam size: 1
- Decode config w/ LM:
- Decode with Transformer-LM
- Beam size: 10
- LM weight: 0.15
| testset | w/o LM | w/ LM |
|---|---|---|
SPEECHIO_ASR_ZH00001 |
0.49 |
0.35 |
SPEECHIO_ASR_ZH00002 |
3.23 |
2.86 |
SPEECHIO_ASR_ZH00003 |
1.13 |
0.80 |
SPEECHIO_ASR_ZH00004 |
1.33 |
1.10 |
SPEECHIO_ASR_ZH00005 |
1.41 |
1.18 |
SPEECHIO_ASR_ZH00006 |
5.25 |
4.85 |
SPEECHIO_ASR_ZH00007 |
5.51 |
4.97 |
SPEECHIO_ASR_ZH00008 |
3.69 |
3.18 |
SPEECHIO_ASR_ZH00009 |
3.02 |
2.78 |
SPEECHIO_ASR_ZH000010 |
3.35 |
2.99 |
SPEECHIO_ASR_ZH000011 |
1.54 |
1.25 |
SPEECHIO_ASR_ZH000012 |
2.06 |
1.68 |
SPEECHIO_ASR_ZH000013 |
2.57 |
2.25 |
SPEECHIO_ASR_ZH000014 |
3.86 |
3.08 |
SPEECHIO_ASR_ZH000015 |
3.34 |
2.67 |
使用方式以及适用范围
运行范围
- 支持Linux-x86_64、Mac和Windows运行。
使用方式
- 直接推理：可以直接对输入音频进行解码，输出目标文字。
- 微调：加载训练好的模型，采用私有或者开源数据进行模型训练。
使用范围与目标场景
- 适合与离线语音识别场景，如录音文件转写，配合GPU推理效果更加，推荐输入语音时长在20s以下，若想解码长音频，推荐使用Paraformer-large长音频模型，集成VAD、ASR、标点与时间戳功能，可直接对时长为数小时音频进行识别，并输出带标点文字与时间戳。
模型局限性以及可能的偏差
考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%），推理GPU环境差异导致的RTF数值差异。
相关论文以及引用信息
@inproceedings{gao2022paraformer,
title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
author={Gao, Zhifu and Zhang, Shiliang and McLoughlin, Ian and Yan, Zhijie},
booktitle={INTERSPEECH},
year={2022}
}