概览

通过阅读我们的指南与技术文档,您可以更深入地了解VOCU的各项内容

欢迎您来到Vocu.ai使用指南,我们将一步步地带领您从账号注册开始,到克隆您的第一个声音,再到生成您的第一段语音。我们还将指导您如何通过优化音频文件和编辑文本内容,以提升整体的生成质量。最后,我们将向您坦诚介绍当前存在的一些技术局限性,以帮助您更好地使用。

首先,我们可以先从角色管理开始,您可以在此处创建角色并添加任意音频样本用于语音克隆,并为它们设置名称以及描述等内容。在您添加了角色后,您就可以前往语音生成页面,在此处您将可以使用您创建的角色声音来生成您的第一段语音。

AI模型工作原理

我们的VOCU语音大模型已预先经过海量音频的训练,训练的内容涵盖多种类型,但最多的是有声读物常规对话音频。如果您提供的克隆音频样本以及目标文本是此类内容,则通常会在生成语音时取得较好的效果。我们的模型会尽可能模仿克隆音频样本的语调、语速、情感、停顿、响度、声学环境、呼吸声、口音、发声方式等特征,尽可能理解目标文本的上下文,并综合它们来产生最匹配的语音。

缺点与局限性

在当前版本系列的语音模型(V2.9及更高版本)已具备与真人无异的语音生成能力,但并不是完美的,您可能会在使用过程中遇到以下问题:

  • 偶发的不稳定结果:您可能会偶尔遇到一些质量较差的生成结果。您可以尝试将生成风格设置为稳定,这能提高全局稳定性,但可能牺牲一些声音的表现力。您也可以多次生成同一段文本,从中选择最好的结果。

  • 其他语言内容的稳定性或质量可能低于角色语言:在V2 及更高版本模型支持中英双语的克隆与合成,V3 系列模型新增支持更多语言,在跨语言生成中,模型会通过模仿和推理来尝试以角色声音进行外语发音,但由于不同语言的发音体系均有所不同,因此跨语言内容的克隆与合成表现可能会略低于角色原声语种的内容。

  • 不太擅长过于浮夸尖锐或过于独特的克隆样本:您在使用过于浮夸尖锐或过于独特的克隆样本时,可能会遇到音质/相似度/稳定性下降的问题;您可以尝试通过多次生成单句,并将您最满意的一句生成结果作为样本进行克隆来改善此问题。

我们最新版本的语音大模型(V3.0)系列已针对以上问题进行专项优化,并将持续优化提升工作效果和降低局限性。

最后更新于

这有帮助吗?