作者您好,非常感谢你们的开源贡献。我在复现推理以下结果时出现了问题
fine-tuning results on Aishell test set on whisper medium, large-v2, large-v3
test (before fine-tuning) test (after fine-tuning) comment
medium 7.23 3.27 --epoch 10 --avg 4, ddp
large-v2 6.56 2.47 --epoch 10 --avg 6, deepspeed zero stage1
large-v3 6.06 2.84 --epoch 5 --avg 3, deepspeed zero stage1
使用aishell test,基于large_V2,使用huggingface下载的:/root/autodl-tmp/icefall/egs/aishell/ASR/icefall_asr_aishell_whisper/exp_large_v2/epoch-10-avg-6.pt得到了test (after fine-tuning)的正确结果,但在test (before fine-tuning)中,cer>100%
使用的推理代码:
python3 ./whisper/decode.py
--exp-dir whisper/exp_large_v2_pre
--model-name large-v2
--epoch -1 --avg 1
--remove-whisper-encoder-input-length-restriction False
--beam-size 10 --max-duration 15
然后我的large-v2模型的路径是:/root/.cache/whisper/large-v2.pt
是通过pip install -r whisper/requirements.txt自动下载的。
请问是哪里出了问题呢?--epoch -1时调用的是什么模型呢?是我这里加载的预训练模型不正确吗?
作者您好,非常感谢你们的开源贡献。我在复现推理以下结果时出现了问题
fine-tuning results on Aishell test set on whisper medium, large-v2, large-v3
test (before fine-tuning) test (after fine-tuning) comment
medium 7.23 3.27 --epoch 10 --avg 4, ddp
large-v2 6.56 2.47 --epoch 10 --avg 6, deepspeed zero stage1
large-v3 6.06 2.84 --epoch 5 --avg 3, deepspeed zero stage1
使用aishell test,基于large_V2,使用huggingface下载的:/root/autodl-tmp/icefall/egs/aishell/ASR/icefall_asr_aishell_whisper/exp_large_v2/epoch-10-avg-6.pt得到了test (after fine-tuning)的正确结果,但在test (before fine-tuning)中,cer>100%
使用的推理代码:
python3 ./whisper/decode.py
--exp-dir whisper/exp_large_v2_pre
--model-name large-v2
--epoch -1 --avg 1
--remove-whisper-encoder-input-length-restriction False
--beam-size 10 --max-duration 15
然后我的large-v2模型的路径是:/root/.cache/whisper/large-v2.pt
是通过pip install -r whisper/requirements.txt自动下载的。
请问是哪里出了问题呢?--epoch -1时调用的是什么模型呢?是我这里加载的预训练模型不正确吗?