Qbot6.讯飞文字转语音Api使用/VITS派蒙复读机实现

Posted 2023-03-12 zstar-_

该项目计划长期进行维护更新，欢迎star：https://github.com/zstar1003/Qbot

前言

看完流浪地球2之后，萌生了一个想法：我想给机器人完整的一生。作为一个完整的机器人，声音势必是其灵魂所在，正好go-cqhttp支持的CQ码可以发送语音信息，那么就来研究一下TTS(Text To Speech)的相关成果。

讯飞文字转语音Api

科大讯飞是国内NLP巨头之一，此次先来尝试使用其免费的TTS接口。

首先在科大讯飞开发者平台上创建应用。

对于新用户，讯飞赠送了一年50000次的免费调用量，创建完应用，可以获得三个值APPID、APISecret和APIKey。

查阅官方文档，下面是python写的一个调用示例：

import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import os

STATUS_FIRST_FRAME = 0  # 第一帧的标识
STATUS_CONTINUE_FRAME = 1  # 中间帧标识
STATUS_LAST_FRAME = 2  # 最后一帧的标识


class Ws_Param(object):
    # 初始化
    def __init__(self, APPID, APIKey, APISecret, Text):
        self.APPID = APPID
        self.APIKey = APIKey
        self.APISecret = APISecret
        self.Text = Text

        # 公共参数(common)
        self.CommonArgs = "app_id": self.APPID
        # 业务参数(business)，更多个性化参数可在官网查看
        self.BusinessArgs = "aue": "lame", "auf": "audio/L16;rate=16000", "vcn": "aisbabyxu", "tte": "utf8"
        self.Data = "status": 2, "text": str(base64.b64encode(self.Text.encode('utf-8')), "UTF8")
        # 使用小语种须使用以下方式，此处的unicode指的是 utf16小端的编码方式，即"UTF-16LE"”
        # self.Data = "status": 2, "text": str(base64.b64encode(self.Text.encode('utf-16')), "UTF8")

    # 生成url
    def create_url(self):
        url = 'wss://tts-api.xfyun.cn/v2/tts'
        # 生成RFC1123格式的时间戳
        now = datetime.now()
        date = format_date_time(mktime(now.timetuple()))

        # 拼接字符串
        signature_origin = "host: " + "ws-api.xfyun.cn" + "\\n"
        signature_origin += "date: " + date + "\\n"
        signature_origin += "GET " + "/v2/tts " + "HTTP/1.1"
        # 进行hmac-sha256进行加密
        signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),
                                 digestmod=hashlib.sha256).digest()
        signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')

        authorization_origin = "api_key=\\"%s\\", algorithm=\\"%s\\", headers=\\"%s\\", signature=\\"%s\\"" % (
            self.APIKey, "hmac-sha256", "host date request-line", signature_sha)
        authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')
        # 将请求的鉴权参数组合为字典
        v = 
            "authorization": authorization,
            "date": date,
            "host": "ws-api.xfyun.cn"
        
        # 拼接鉴权参数，生成url
        url = url + '?' + urlencode(v)
        # print("date: ",date)
        # print("v: ",v)
        # 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释，比对相同参数时生成的url与自己代码生成的url是否一致
        # print('websocket url :', url)
        return url


def on_message(ws, message):
    try:
        message = json.loads(message)
        code = message["code"]
        sid = message["sid"]
        audio = message["data"]["audio"]
        audio = base64.b64decode(audio)
        status = message["data"]["status"]
        print(message)
        if status == 2:
            # print("ws is closed")
            ws.close()
        if code != 0:
            errMsg = message["message"]
            # print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))
        else:
            with open('./demo.mp3', 'ab') as f:
                f.write(audio)

    except Exception as e:
        print("receive msg,but parse exception:", e)


# 收到websocket错误的处理
def on_error(ws, error):
    print("### error:", error)


# 收到websocket关闭的处理
def on_close(ws):
    print("### closed ###")


# 收到websocket连接建立的处理
def on_open(ws):
    def run(*args):
        d = "common": wsParam.CommonArgs,
             "business": wsParam.BusinessArgs,
             "data": wsParam.Data,
             
        d = json.dumps(d)
        # print("------>开始发送文本数据")
        ws.send(d)
        if os.path.exists('./demo.mp3'):
            os.remove('./demo.mp3')

    thread.start_new_thread(run, ())


if __name__ == "__main__":
    # 测试时候在此处正确填写相关信息即可运行
    wsParam = Ws_Param(APPID='自己的', APISecret='自己的',
                       APIKey='自己的',
                       Text="需要生成语音的文字")
    websocket.enableTrace(False)
    wsUrl = wsParam.create_url()
    ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)
    ws.on_open = on_open
    ws.run_forever(sslopt="cert_reqs": ssl.CERT_NONE)

其中控制台获得的三个参数替换成自己的。

运行之后，生成的demo.mp3即为所需结果。

在请求参数中，vcn可以控制切换合成语音的人物，不过免费版本仅只有五个人物可切换，声线比较一般。

VITS派蒙复读机

目前，在TTS领域，VITS将Flow-VAE应用到了完全端到端的TTS任务中，取得了非常好的成效。
相关论文：https://arxiv.org/abs/2106.0610

在Github上，有人使用VITS对派蒙的数据集进行了训练，效果听起来还不错。
相关仓库：https://github.com/JOETtheIV/VITS-Paimon

原作者使用Colab作为实验环境，我将其进行了简化重构，以便适合本地部署。
本地部署版代码：https://github.com/zstar1003/VITS

VITS接入Qbot

go-cqhttp的官方文档给出了发送语音的CQ码，相关格式如下：

使用之前，需先在本地安装好ffmpeg。

下载链接：https://www.gyan.dev/ffmpeg/builds/ffmpeg-release-full.7z

下载好后，将D:\\ffmpeg-6.0-full_build\\bin路径添加到环境变量。(这里的路径指向解压包的bin文件夹)

在控制台输入ffmpeg，弹出下列内容，说明安装成功。

配置完之后，在Qbot框架下，调用cq码就很容易了，相关代码如下，完整源码可参阅文首仓库。

# 发送语音信息
def send_group_record(gid):
    try:
        v_path = r'file:///C:\\Users\\zstar\\Desktop\\QBOT\\data\\newtest.wav'
        message = "[CQ:record,file=" + v_path + "]"
        res = requests.post(url=cqhttp_url + "/send_group_msg",
                            params='group_id': int(gid), 'message': message).json()
        if res["status"] == "ok":
            print("群语音消息发送成功")
        else:
            print("群语音消息发送失败，错误信息：" + str(res['wording']))
    except:
        print("群语音消息发送失败")

注：生成的语音文件路径需指定为绝对路径。