-
Notifications
You must be signed in to change notification settings - Fork 583
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[BUG] 关于微调来达到语音克隆的一些测试与问题 #404
Comments
audio (22).zip |
100 个 epoch 有一些过拟合的风险, 结尾多于句子建议使用 webui 自动重抽, 我们在模型层面还在做一些优化. |
当我在使用微调好的模型进行推理的时候,如果带上"--max-new-tokens 1024" 总会导致生成过程中报错,同时如果使用fish-speech原始模型进行推理的时候能够正常生成但是生成效果并未提升。 不知道是不是我对"每批最大令牌数"这个参数理解错误导致的。 另附我的生成命令、测试结果、以及报错详情:
不知道你那边是否有遇到类似的情况以及相关的建议? |
嗯,我分别尝试微调100epoch与1000epoch,发现确实少点epoch的模型效果更好。 但是小短句里面会生成额外的语音这个问题确实还是比较严重,大约生成8次结果里面只有2次效果比较好。不知道你那边还有没有什么trick或者建议? 另附我的测试结果:https://1drv.ms/f/s!Anj5aIRFC0FNhFhO32JqvTV87CGu?e=loGut9 |
说明一下你的硬件情况 |
你好,我是一名人工智能行业的爱好者,首先非常感谢你们做出了fish-speech这么优秀的开源项目!但是我在自己尝试微调fish-speech模型来达到语音克隆的效果时,遇到了一些问题,想向你们请教一下微调的细节问题,不知你们能否为我解答一下。
首先,我这里有一份30min的模特语音数据,在此基础上我进行了如下的微调与测试:
训练数据输入:30min的音频,使用audio-preprocess库进行了自动切片、响度匹配、打标等处理。
超参数设置:训练1000个epoch
克隆结果:
测试文本:'''它的宽大的叶子也是片片向上。就像这白杨树一样傲然挺立的守卫他们家乡的哨兵。难道你又不更远一点。想到这样枝枝叶叶靠紧团结。而那个叫布鲁诺的小伙子却仍在原地踏步。老板一边耐心地听着他的抱怨。'''
测试结果:使用了10s中的参考音频来作为fake.npy,结果如附件里的“测试1-1000epoch”和“测试1-600epoch所示。
存在问题:生成的音频中有含糊不清、错误的部分,且语速节奏很奇怪。
训练数据输入:5min的音频,使用audio-preprocess库进行了自动切片、响度匹配、打标等处理。
超参数设置:训练1000个epoch
克隆结果:
测试文本:'''它的宽大的叶子也是片片向上。就像这白杨树一样傲然挺立的守卫他们家乡的哨兵。难道你又不更远一点。想到这样枝枝叶叶靠紧团结。而那个叫布鲁诺的小伙子却仍在原地踏步。老板一边耐心地听着他的抱怨。'''
测试结果:使用了10s中的参考音频来作为fake.npy,结果如附件里的“测试2-1000epoch”所示。
存在问题:生成的音频中有含糊不清、错误以及非常长的无意义的部分。
训练数据输入:5min的音频,使用audio-preprocess库进行了自动切片、响度匹配、打标等处理。
超参数设置:训练100个epoch
克隆结果:
测试文本:'''它的宽大的叶子也是片片向上。就像这白杨树一样傲然挺立的守卫他们家乡的哨兵。难道你又不更远一点。想到这样枝枝叶叶靠紧团结。而那个叫布鲁诺的小伙子却仍在原地踏步。老板一边耐心地听着他的抱怨。'''
测试结果:使用了10s中的参考音频来作为fake.npy,结果如附件里的“测试3”所示。
存在问题:生成的音频中会出现多余的句子。
对于我上面的这些实验,我分别尝试了比较长和比较短的训练音频、多的epoch和少的epoch,但是总是达不到理想的效果。对于我出现的这些问题,请问你们那边有什么建议吗?或者你们对于语音克隆微调的时候,有没有什么比较稳定好用的setting?
再次感谢你们做出了如此优秀的项目,同时也期待你们的解答~
(由于github issue不能添加音频文件为附件,以上提到的附件放到了此onedrive链接里面:https://1drv.ms/f/s!Anj5aIRFC0FNhFPcqUbNXm1EDv8m?e=RdLLjQ)
2024年7月20日10:19:33 Update
通过翻阅仓库的issue,我看到作者说微调的训练数据要在30min-1h,对此 我又使用了45min的另一位模特的声音进行微调测试。
我分别尝试了500epoch和1000epoch的权重,并且在推理的时候也都使用了5s左右音频的fake.npy来作为参考。
但是也是存在“生成的音频中会出现多余的句子”的问题。
The text was updated successfully, but these errors were encountered: