微调Whisper语音识别模型和加速推理

# 微调Whisper语音识别模型和加速推理 简体中文 ## 前言 OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对Whisper模型使用Lora进行微调，**支持无时间戳数据训练，有时间戳数据训练、无语音数据训练**。目前开源了好几个模型，具体可以在[openai](https://huggingface.co/openai)查看，下面列出了常用的几个模型。另外项目最后还支持CTranslate2加速推理和GGML加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。支持Windows桌面应用，Android应用和服务器部署。 ### 请先点`star` ## 支持模型 - openai/whisper-tiny - openai/whisper-base - openai/whisper-small - openai/whisper-medium - openai/whisper-large - openai/whisper-large-v2 **使用环境：** - Anaconda 3 - Python 3.8 - Pytorch 1.13.1 - Ubuntu 18.04 - GPU A100-PCIE-40GB*1 ### 视频讲解：[哔哩哔哩](https://www.bilibili.com/video/BV1S8411o7rm/) ### 演示地址：[Web部署](http://whisper.yeyupiaoling.cn:8081/) ## 目录 - [项目主要程序介绍](#项目主要程序介绍) - [模型测试表](#模型测试表) - [安装环境](#安装环境) - [准备数据](#准备数据) - [微调模型](#微调模型) - [单卡训练](#单卡训练) - [多卡训练](#多卡训练) - [合并模型](#合并模型) - [评估模型](#评估模型) - [预测](#预测) - [加速预测](#加速预测) - [GUI界面预测](#GUI界面预测) - [Web部署](#Web部署) - [接口文档](#接口文档) - [Android部署](#Android部署) - [Windows桌面应用](#Windows桌面应用) - [打赏作者](#打赏作者) <a name='项目主要程序介绍'></a> ## 项目主要程序介绍 1. `aishell.py`：制作AIShell训练数据。 2. `finetune.py`：微调模型。 3. `merge_lora.py`：合并Whisper和Lora的模型。 4. `evaluation.py`：评估使用微调后的模型或者Whisper原模型。 5. `infer_tfs.py`：使用transformers直接调用微调后的模型或者Whisper原模型预测，只适合推理短音频。 6. `infer_ct2.py`：使用转换为CTranslate2的模型预测，主要参考这个程序用法。 7. `infer_gui.py`：有GUI界面操作，使用转换为CTranslate2的模型预测。 8. `infer_server.py`：使用转换为CTranslate2的模型部署到服务器端，提供给客户端调用。 9. `convert-ggml.py`：转换模型为GGML格式模型，给Android应用或者Windows应用使用。 10. `AndroidDemo`：该目录存放的是部署模型到Android的源码。 11. `WhisperDesktop`：该目录存放的是Windows桌面应用的程序。 <a name='模型测试表'></a> ## 模型测试表 1. 原始模型字错率测试表。 | 使用模型 | 指定语言 | aishell_test | test_net | test_meeting | 下载地址 | CTranslate2 | GGML | |:----------------:|:-------:|:------------:|:--------:|:------------:|:----------------------------------------------------------------:|:----------------------------------------------------------------:|:----------------------------------------------------------------:| | whisper-tiny | Chinese | 0.31898 | 0.40482 | 0.75332 | [点击下载](https://pan.baidu.com/s/1q8xHr71XPe1dnRHv2IzldQ?pwd=wjrf) | [点击下载](https://pan.baidu.com/s/1Rg8KM1gDKLw8kObZEJQG1A?pwd=hnhe) | [点击下载](https://pan.baidu.com/s/1AjkdrF2YC5oP_CiGtAtZKg?pwd=4w9k) | | whisper-base | Chinese | 0.22196 | 0.30404 | 0.50378 | [点击下载](https://pan.baidu.com/s/1q8xHr71XPe1dnRHv2IzldQ?pwd=wjrf) | [点击下载](https://pan.baidu.com/s/1Rg8KM1gDKLw8kObZEJQG1A?pwd=hnhe) | [点击下载](https://pan.baidu.com/s/1AjkdrF2YC5oP_CiGtAtZKg?pwd=4w9k) | | whisper-small | Chinese | 0.13897 | 0.18417 | 0.31154 | [点击下载](https://pan.baidu.com/s/1q8xHr71XPe1dnRHv2IzldQ?pwd=wjrf) | [点击下载](https://pan.baidu.com/s/1Rg8KM1gDKLw8kObZEJQG1A?pwd=hnhe) | [点击下载](https://pan.baidu.com/s/1AjkdrF2YC5oP_CiGtAtZKg?pwd=4w9k) | | whisper-medium | Chinese | 0.09538 | 0.13591 | 0.26669 | [点击下载](https://pan.baidu.com/s/1q8xHr71XPe1dnRHv2IzldQ?pwd=wjrf) | [点击下载](https://pan.baidu.com/s/1Rg8KM1gDKLw8kObZEJQG1A?pwd=hnhe) | [点击下载](https://pan.baidu.com/s/1AjkdrF2YC5oP_CiGtAtZKg?pwd=4w9k) | | whisper-large | Chinese | 0.08969 | 0.12933 | 0.23439 | [点击下载](https://pan.baidu.com/s/1q8xHr71XPe1dnRHv2IzldQ?pwd=wjrf) | [点击下载](https://pan.baidu.com/s/1Rg8KM1gDKLw8kObZEJQG1A?pwd=hnhe) | [点击下载](https://pan.baidu.com/s/1AjkdrF2YC5oP_CiGtAtZKg?pwd=4w9k) | | whisper-large-v2 | Chinese | 0.08817 | 0.12332 | 0.26547 | [点击下载](https://pan.baidu.com/s/1q8xHr71XPe1dnRHv2IzldQ?pwd=wjrf) | [点击下载](https://pan.baidu.com/s/1Rg8KM1gDKLw8kObZEJQG1A?pwd=hnhe) | [点击下载](https://pan.baidu.com/s/1AjkdrF2YC5oP_CiGtAtZKg?pwd=4w9k) | 2. 微调数据集后字错率测试表。 | 使用模型 | 指定语言 | 数据集 | aishell_test | test_net | test_meeting | 下载地址 | CTranslate2 | GGML | |:----------------:|:-------:|:----------------------------------------------------------:|:------------:|:--------:|:------------:|:----------------------------------------------------------------:|:----------------------------------------------------------------:|:----------------------------------------------------------------:| | whisper-tiny | Chinese | [AIShell](https://openslr.magicdatatech.com/resources/33/) | 0.13043 | 0.4463 | 0.57728 | [点击下载](https://pan.baidu.com/s/1hIximy9ddN3cMHN4_VdhnQ?pwd=nfc2) | [点击下载](https://pan.baidu.com/s/1H-OBD9L0hYV-M_WoPEbiJA?pwd=8hbb) | [点击下载](https://pan.baidu.com/s/1HV6q0JvCRwDSYtMIzD33aw?pwd=h0bn) | | whisper-base | Chinese | [AIShell](https://openslr.magicdatatech.com/resources/33/) | 0.08999 | 0.33089 | 0.40713 | [点击下载](https://pan.baidu.com/s/1hIximy9ddN3cMHN4_VdhnQ?pwd=nfc2) | [点击下载](https://pan.baidu.com/s/1H-OBD9L0hYV-M_WoPEbiJA?pwd=8hbb) | [点击下载](https://pan.baidu.com/s/1HV6q0JvCRwDSYtMIzD33aw?pwd=h0bn) | | whisper-small | Chinese | [AIShell](https://openslr.magicdatatech.com/resources/33/) | 0.05452 | 0.19831 | 0.24229 | [点击下载](https://pan.baidu.com/s/1hIximy9ddN3cMHN4_VdhnQ?pwd=nfc2) | [点击下载](https://pan.baidu.com/s/1H-OBD9L0hYV-M_WoPEbiJA?pwd=8hbb) | [点击下载](https://pan.baidu.com/s/1HV6q0JvCRwDSYtMIzD33aw?pwd=h0bn) | | whisper-medium | Chinese | [AIShell](https://openslr.magicdatatech.com/resources/33/) | 0.03681 | 0.13073 | 0.16939 | [点击下载](https://pan.baidu.com/s/1hIximy9ddN3cMHN4_VdhnQ?pwd=nfc2) | [点击下载](https://pan.baidu.com/s/1H-OBD9L0hYV-M_WoPEbiJA?pwd=8hbb) | [点击下载](https://pan.baidu.com/s/1HV6q0JvCRwDSYtMIzD33aw?pwd=h0bn) | | whisper-large-v2 | Chinese | [AIShell](https://openslr.magicdatatech.com/resources/33/) | 0.03139 | 0.12201 | 0.15776 | [点击下载](https://pan.baidu.com/s/1hIximy9ddN3cMHN4_VdhnQ?pwd=nfc2) | [点击下载](https://pan.baidu.com/s/1H-OBD9L0hYV-M_WoPEbiJA?pwd=8hbb) | [点击下载](https://pan.baidu.com/s/1HV6q0JvCRwDSYtMIzD33aw?pwd=h0bn) | | whisper-tiny | Chinese | [WenetSpeech](./tools/create_wenetspeech_data.py) | 0.17711 | 0.24783 |