托管及使用专属智能语音模型CosyVoice

打造你的专属语音助手，基于函数计算托管 CosyVoice语音模型

目前，声音的推理和克隆在很多领域都有广泛的应用，比如 儿童/成人教育、疗愈/陪伴、销售/客服、游戏NPC、车载通信，工/农业线下辅助等。CosyVoice 是一款优秀的语音合成模型，支持声音克隆、情感控制、多语言语音合成等诸多功能，效果体验极佳。然而，对于很多普通用户和应用开发者而言，托管其专属模型，进行使用或者应用开发比较困难，今天分享一下，基于阿里云函数计算 FC 以及CAP(云应用开发平台)，极速托管专属的 CosyVoice 应用。并且我们提供了 API 调用方案以及镜像构建源码方便您根据自己的业务任意 DIY。

CosyVoice 部署托管

Step1 访问阿里云函数计算控制台，打开应用中心

以上生成的代码可以直接在本地安装调试，为了进一步方便实用，下面提供示例代码，完整的代码获取

声音推理

声音推理较为简单，复制以下代码（需要安装gradio_client）,修改cosyvoice_endpoint地址即可, 

from gradio_client import Client
import os
import shutil


cosyvoice_endpoint = "<endpoint>"
client = Client(cosyvoice_endpoint)

result = client.predict(
    _sound_radio="中文女",
    _synthetic_input_textbox="天天好心情，我们走的每一步，都是我们策略的一部分；你看到的所有一切，包括我此刻与你交谈，所做的一切，所说的每一句话，都有深远的含义。",
    _seed=0,
    api_name="/generate_audio"
)
# result 是返回的本地音频地址
# 把result 保存到当前的目录下
audio_filename = "preset.mp3"
shutil.copy(result, audio_filename)
# 删除原始的 音频
os.remove(result)

声音克隆

新建 custom.py文件，并复制这段代码（需要安装gradio_client）

import os
import shutil
from gradio_client import Client, file
cosyvoice_endpoint = "endpoint"
uploaded_voice_path = ""
client = Client(cosyvoice_endpoint)

result = client.predict(
  _recorded_audio1=file(f"{cap_cosyvoice_endpoint}file={uploaded_voice_path}"),
  _recorded_audio2=None,
  _prompt_input_textbox="今天的不开心就止于此吧，明天依旧光芒万丈哦",
  _language_radio="same",
  _synthetic_input_textbox="来来来，我们走的每一步，都是我们策略的一部分；你看到的所有一切，包括我此刻与你交谈，所做的一切，所说的每一句话，都有深远的含义。",
  _seed=0,
  _audio_input_type_radio="upload_audio",
  api_name="/generate_audio_1"
)

print(result)

# result 是返回的本地音频地址
# 把result 保存到当前的目录下
audio_filename = "custom.mp3"
shutil.copy(result, audio_filename)

# 删除原始的 音频
os.remove(result)

高级情感Å

from gradio_client import Client

client = Client("<endpoint>")
result = client.predict(
		_sound_radio="中文女",
		_synthetic_input_textbox="Hello!!",
		_seed=0,
		api_name="/generate_audio"
)
print(result)

补充

对于声音推理，由于Serverless 实例会轮转（比如无调用实例会被释放），无法持久化存储被克隆的声音，所以如果您希望持久化上传的克隆声音，使其能够提供长期的 API 服务，需要增加阿里云文件存储产品 NAS 存储解决，函数计算挂载 NAS 非常简单，如下示例。

挂载 NAS

配置好之后获取 NAS 文件路径

配置 CosyVoice 文件存储环境变量

之后重新使用 API Recorder 录制声音克隆API ，会发现 上传录制文件后的视频地址已经固定为 NAS 的地址了，接下来您便可以长久使用这个克隆的声音了。

如何更新CozyVoice 以及如何对后端服务修改定制

函数计算 CosyVoice 应用模版同步社区的更新存在滞后性，如果您希望体验社区最新的模型效果，本方案提供了 CozyVoice 构建的完整代码，支持您进行更新。

您可以更新代码工程，重新构建新的Docker 镜像，将Docker镜像上传至阿里云容器镜像服务 ACR 服务

然后修改函数计算上的镜像配置即可。

注意，上述源码的 CosyVoice-300M 工程中不包含模型， 需要先将对应的模型下载到本地，然后构建镜像

cd CozyVoice-300M
mkdir -p pretrained_models
git clone https://www.modelscope.cn/iic/CosyVoice-300M.git pretrained_models/CosyVoice-300M
git clone https://www.modelscope.cn/iic/CosyVoice-300M-SFT.git pretrained_models/CosyVoice-300M-SFT
git clone https://www.modelscope.cn/iic/CosyVoice-300M-Instruct.git pretrained_models/CosyVoice-300M-Instruct
git clone https://www.modelscope.cn/iic/CosyVoice-ttsfrd.git pretrained_models/CosyVoice-ttsfrd

还需要 audioseal 文件，可以从魔搭创空间获取