GPT-SoVITS 数据搜集、整理，训练，推理全流程分享（以崩坏3为例）

作者

GPT-SoVITS 数据搜集、整理，训练，推理全流程分享（以崩坏3为例）

大家好，我是辉哥。最近好多朋友私信问我，怎么让“琪亚娜”或“雷电芽衣”在游戏里说出自己想让她说的话。其实核心工具就是 GPT-SoVITS。你别被那一串英文名字吓到，说大白话，它就是个“声音克隆机”。你喂它一段段真人配音，它就能学会，以后你打几个字，它就能用那个角色的语气给你读出来。今天我就把流程掰开揉碎，像当年我带实习生一样，手把手教你搞定。

第一步：数据搜集——像收集录音笔一样攒素材

训练 AI 就像教孩子说话，你得先有“教材”。对于崩坏3的角色，教材就是现有的语音素材。怎么找？别去搞那些乱七八糟的盗版网站，直接去 B站 搜“角色名 语音合集”或者“角色名 台词”，挑那些画质高、背景音干净的视频。比如你想克隆芽衣，就找她打怪、聊天、释放技能时的清唱片段。

这里我踩过坑，新手容易犯的错误是“贪多”。记住，30到50分钟的高质量干声（就是没有背景音乐和特效音的纯人声）就足够初版训练了。我当年为了搞一套角色音，光找素材就花了一周。工具方面，用“剪映”或者“必剪”自带的提取音频功能就够用了，导出成 WAV 格式，别用 MP3，压缩率太高会损失声音细节。

第二步：数据整理——把素材切成“单词卡”

拿到音频后，不能直接扔给 AI，得切成小块。AI 的学习逻辑是“听到一句，学一句”。所以你要把长音频切成 3 到 10 秒的短句。想象你在整理孩子的英语单词卡片，一张卡片上就一个短语，这样它才不容易记混。

  • 用免费软件 Audacity 打开音频，听到一句台词就按空格键做标记。
  • 把标记之间的部分剪下来，单独存成文件。
  • 文件命名有讲究，格式必须是 数字_文本.wav，比如 001_芽衣今天天气真好.wav。数字要连续，文本就是你剪下来的那句原话。
  • 最后建一个文件夹，把切好的 wav 和对应的 txt 文本整理好，训练脚本会自动配对。

这一步最磨性子，但千万别偷懒。我见过太多人训练出来声音像机器人，十有八九是音频剪辑时切断了尾音，或者文本和声音对不上。耐心点，这一步做好了，后面省一半力气。

第三步：训练——教 AI“学说话”

数据弄好了，接下来就是让电脑干活。GPT-SoVITS 的部署在 GitHub 上有现成的脚本，但小白别慌，我帮你把核心步骤拎出来。你得有一台带 NVIDIA 显卡的电脑，显存至少 8G 起步，不然跑起来会卡成 PPT。

# 1. 激活虚拟环境（假设你已经装好 Python 3.10）
conda activate GPT-SoVITS
# 2. 运行训练脚本，路径自己改成刚才整理好的文件夹
python train.py --config_path configs/config.json --dataset_path ./data/芽衣

跑起来之后，你会看到屏幕上一行行日志在滚。别盯着看，去泡杯茶。训练过程分两步：先让 AI 记住音色（GPT阶段），再让它学会怎么把文本转成这个音色的语音（SoVITS阶段）。大概跑 100 到 200 个 epoch（训练周期）就能出效果了。期间如果显存爆了，就去把 batch size 改小点。记住，训练不是点一下就完事，它是个“熬”的过程，急不得。

第四步：推理——“一键生成”你的专属台词

模型训练完，你会得到一个 .ckpt 文件。这就是你的“声音模型”。推理就是让它开口说话的操作。打开 GPT-SoVITS 的推理网页端，按步骤填数据：

  • 加载模型：选择你刚才训练好的路径。
  • 输入文本：输入你想让芽衣说的话，比如“琪亚娜，别跑那么快！”
  • 调整参数：重点看“参考音频”和“相似度”。参考音频选你原始素材里最清晰的一句，相似度调高声音会更像，但调太高容易破音，一般 0.7 到 0.8 最稳。
  • 点击生成，等个几十秒，浏览器就会自动播放音频。满意的话直接右键保存。

这一步就像点外卖，参数调好了，出餐速度和质量就有保证。我第一次跑通的时候，听到屏幕里传出熟悉的芽衣配音，那种成就感，比当年上线第一个付费项目还爽。

辉哥的实战避坑指南

常见问题 原因分析 解决办法
声音像电报机 训练数据太少或切得太碎 补录干声，确保每句保留自然尾音
音色飘忽不定 参考音频质量差或相似度调太高 换清晰片段，相似度降到0.75试试
训练中途报错 显存不足或路径含中文 改英文路径，降低batch_size

做 AI 项目，最怕的就是“理论很丰满，实操很骨感”。我干了 25 年 IT，带过不少团队，发现一个真理：工具再花哨，底层逻辑永远是“垃圾进，垃圾出”。数据质量占成功的 70%，训练调参占 20%，剩下的 10% 才是运气。你第一次跑不通太正常了，别急着骂街，把日志报错截图去社区搜，十有八九前人已经踩过坑了。

今天把流程全摊开说，就是希望小白朋友少走弯路。AI 这东西，门槛看似高，其实只要你肯动手，一步步跟着走，半个月就能做出自己的专属角色语音。技术永远是为热爱服务的，当你看到自己克隆的角色说出第一句定制台词时，那种快乐，是纯纯的极客浪漫。

如果有哪一步卡住了，或者跑出来的声音不对劲，随时来交流。咱们评论区见，或者关注公众号慢慢琢磨。慢慢来，比较快。

关于我：辉哥，25年IT老兵，8年软件公司创业狗。目前在学AI，欢迎交流。

关注公众号：辉哥学AI

发表评论