FunASR希望在语音识别方面建立学术研究和工业应用之间的桥梁。通过支持在ModelScope上发布的工业级语音识别模型的训练和微调,研究人员和开发人员可以更方便地进行语音识别模型的研究和生产,并促进语音识别生态系统的发展。
最新动态
| 环境安装
| 介绍文档
| 中文教程
| 服务部署
| 模型库
| 联系我们
近年来,随着端到端语音识别的流行,基于Transformer结构的语音识别系统逐渐成为了主流。Transformer通过self-attention模块来获取语音的全局信息,但对于语音识别任务,语音序列的局部信息更为关键,
例如DFSMN、TDNN等建模局部信息的网络结构在语音识别任务上取得了较好的效果。2020年,Google在Transformer结构的基础上提出了Conformer。具体网络结构图如下,通过在self-attenion基础上叠加卷积模块来加强
模型的局部信息建模能力,进一步提升了模型的效果。Conformer已经在AISHELL-1、AISHELL-2、LibriSpeech等多个开源数据上取得了SOTA结果。
更详细的描述见:论文
本项目提供的预训练模型是基于大数据训练的通用领域识别模型,开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库FunASR进一步进行模型的领域定制化。
对于有开发需求的使用者,特别推荐您使用Notebook进行离线处理。先登录ModelScope账号,点击模型页面右上角的“在Notebook中打开”按钮出现对话框,首次使用会提示您关联阿里云账号,按提示操作即可。关联账号后可进入选择启动实例界面,选择计算资源,建立实例,待实例创建完成后进入开发环境,进行调用。
cat wav.scp
asr_example1 data/test/audios/asr_example1.wav
asr_example2 data/test/audios/asr_example2.wav
...
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
inference_pipeline = pipeline(
task=Tasks.auto_speech_recognition,
model='damo/speech_conformer_asr_nat-zh-cn-16k-aishell1-vocab4234-pytorch')
rec_result = inference_pipeline(audio_in='https://modelscope.oss-cn-beijing.aliyuncs.com/test/audios/asr_example.wav')
print(rec_result)
rec_result = inference_pipeline(audio_in='asr_example_zh.wav')
inference_pipeline = pipeline(
task=Tasks.auto_speech_recognition,
model='damo/speech_conformer_asr_nat-zh-cn-16k-aishell1-vocab4234-pytorch',
output_dir='./output_dir')
inference_pipeline("wav.scp")
识别结果输出路径结构如下:
tree output_dir/
output_dir/
└── 1best_recog
├── rtf
├── score
├── text
└── time_stamp
1 directory, 4 files
rtf:计算过程耗时统计
score:识别路径得分
text:语音识别结果文件
time_stamp:时间戳结果文件
import soundfile
waveform, sample_rate = soundfile.read("asr_example_zh.wav")
rec_result = inference_pipeline(audio_in=waveform)
以AISHELL-1数据集为例,完整数据集已经上传ModelScope,可通过数据集英文名(speech_asr_aishell1_trainsets)搜索:
import os
from modelscope.metainfo import Trainers
from modelscope.msdatasets import MsDataset
from modelscope.trainers import build_trainer
exp_dir = './exp'
if not os.path.exists(exp_dir):
os.makedirs(exp_dir)
# dataset split ['train', 'validation']
ds_dict = MsDataset.load(dataset_name='speech_asr_aishell1_trainsets', namespace='speech_asr')
kwargs = dict(
model='damo/speech_conformer_asr_nat-zh-cn-16k-aishell1-vocab4234-pytorch',
data_dir=ds_dict,
work_dir=exp_dir)
trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs)
trainer.train()
私有数据集格式按如下准备:
tree ./example_data/
./example_data/
├── validation
│ ├── text
│ └── wav.scp
└── train
├── text
└── wav.scp
2 directories, 4 files
其中,text文件中存放音频标注,wav.scp文件中存放wav音频绝对路径,样例如下:
cat ./example_data/text
BAC009S0002W0122 而 对 楼市 成交 抑制 作用 最 大 的 限 购
BAC009S0002W0123 也 成为 地方 政府 的 眼中 钉
cat ./example_data/wav.scp
BAC009S0002W0122 /mnt/data/wav/train/S0002/BAC009S0002W0122.wav
BAC009S0002W0123 /mnt/data/wav/train/S0002/BAC009S0002W0123.wav
安装FunASR框架,安装命令如下:
git clone https://github.com/alibaba/FunASR.git
cd FunASR
pip install --editable ./
训练私有数据代码范例如下:
import os
from modelscope.metainfo import Trainers
from modelscope.trainers import build_trainer
from funasr.datasets.ms_dataset import MsDataset
def modelscope_finetune(params):
if not os.path.exists(params.output_dir):
os.makedirs(params.output_dir, exist_ok=True)
# dataset split ["train", "validation"]
ds_dict = MsDataset.load(params.data_path)
kwargs = dict(
model=params.model,
model_revision=params.model_revision,
data_dir=ds_dict,
dataset_type=params.dataset_type,
work_dir=params.output_dir,
batch_bins=params.batch_bins,
max_epoch=params.max_epoch,
lr=params.lr)
trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs)
trainer.train()
if __name__ == '__main__':
from funasr.utils.modelscope_param import modelscope_args
params = modelscope_args(model="damo/speech_conformer_asr_nat-zh-cn-16k-aishell1-vocab4234-pytorch", data_path="./data")
params.output_dir = "./checkpoint" # m模型保存路径
params.data_path = "./example_data/" # 数据路径
params.dataset_type = "small" # 小数据量设置small,若数据量大于1000小时,请使用large
params.batch_bins = 25000 # batch size,如果dataset_type="small",batch_bins单位为fbank特征帧数,如果dataset_type="large",batch_bins单位为毫秒,
params.max_epoch = 50 # 最大训练轮数
params.lr = 0.00005 # 设置学习率
modelscope_finetune(params)
若使用多卡进行训练,可将上述代码保存为py文件(如finetune.py)后,执行如下命令:
CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py > log.txt 2>&1
FunASR框架支持魔搭社区开源的工业级的语音识别模型的training & finetuning,使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产,目前已在Github开源:https://github.com/alibaba-damo-academy/FunASR
pip3 install -U modelscope
git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip3 install -e ./
接下来会以私有数据集为例,介绍如何在FunASR框架中进行模型推理以及微调。
cd egs_modelscope/asr/conformer/speech_conformer_asr_nat-zh-cn-16k-aishell1-vocab4234-pytorch
python infer.py
cd egs_modelscope/asr/conformer/speech_conformer_asr_nat-zh-cn-16k-aishell1-vocab4234-pytorch
python finetune.py
若修改输出路径、数据路径、采样率、batch_size等配置,可参照在Notebook开发中私有数据微调部分的代码,修改finetune.py文件中配置,例如:
if __name__ == '__main__':
from funasr.utils.modelscope_param import modelscope_args
params = modelscope_args(model="damo/speech_conformer_asr_nat-zh-cn-16k-aishell1-vocab4234-pytorch", data_path = "./data")
params.output_dir = "./checkpoint"
params.data_dir = "./example_data/"
params.batch_bins = 25000
modelscope_finetune(params)
若想使用多卡进行微调训练,可按执行如下命令:
CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py > 1234.txt 2>&1
可以直接采用原始音频作为输入进行训练,也可以先对音频进行预处理,提取FBank特征,再进行模型训练,加快训练速度。
model | dev(CER%) | test(CER%) | RTF |
---|---|---|---|
Conformer | 4.42 | 4.87 | 0.2100 |
运行范围
使用方式
使用范围与目标场景
考虑到特征提取流程和工具以及训练工具差异,会对CER的数据带来一定的差异(<0.1%),推理GPU环境差异导致的RTF数值差异。
@article{gulati2020conformer,
title={Conformer: Convolution-augmented transformer for speech recognition},
author={Gulati, Anmol and Qin, James and Chiu, Chung-Cheng and Parmar, Niki and Zhang, Yu and Yu, Jiahui and Han, Wei and Wang, Shibo and Zhang, Zhengdong and Wu, Yonghui and others},
journal={arXiv preprint arXiv:2005.08100},
year={2020}
}