Analysing the pronunciation feature of poetry based on deep neural network

Posted 2023-03-03 wqwzgw

语言不仅是人类传播文明、影响生产和生活的重要工具之一，也是人类智慧的体现。它是文化传播和智能通信的载体。语音和诗歌阅读可以看作是人脑智能的输出。语音研究不仅是文化产业的一项基本任务，也是模拟人类智能和精确计算的科学研究的一项重要任务，涉及使用计算机科学方面的新方法。近年来，由于人工神经网络、大数据分析和人工智能等新型信息技术的不断出现，语音处理得到了迅猛发展。在日常生活中，人们在语音信号的识别和预测中经常遇到各种各样的困难。其中，语音识别被广泛应用于智能识别和智能登录系统等设备中。语音去噪被广泛应用于刑事侦查、电影、艺术等领域。此外，语音合成在视频编辑以及图像和文本数据的恢复中起着至关重要的作用。因此，针对语音方面的研究与人们的生活息息相关，在未来的智慧生活中必然前景广阔。广泛的应用场景和新的研究方法层出不穷，这也给语音研究带来了新的机遇和挑战。特别是近年来新算法的出现，大大促进了语音信号的研究。唐诗的发展，是我国传统文学的重要典范。它不但反映了我国文化的审美价值，而且是一个时期的精神风貌和文化特点。唐诗最显著的特点之一是艺术表现力。平仄对立、押韵，在句子结构和押韵上表现出一种形式美。同时，它的特点是具有音乐性，一个振荡的节奏和往复旋律，这使它容易阅读。因此，研究朗诵唐诗的发音，将有助于儿童正确朗诵唐诗，进而引导他们融入唐诗的艺术美，感悟诗人所表达的强烈情感。
长期以来，语音研究一直采用线性相关模型。语言信息作为一个混沌时间序列，也有着它自身的语言特征。因此线性回归模型对于语言特征的估计也具有一定的影响，尤其是在关于语言序列结构的分类、混沌语音预测的描述和对混沌语言的信息收集与预处理等方面，为此，许多研究人员都进行了线性语音和处理方面的工作，这也是非线性语言预测的理论基础。但是，由于使用情景的不断改变需要更迅速而精确的语音特征估计。但是，线性模型预测准确度较低、有效性低，不能满足这些要求[6]。因此，快速且准确的预测模型有望提高语音信号预测的准确性和效率。作为语音识别中最常用的特征之一，Mel倒谱系数（MFCC）特征也被认为是语音处理中最重要的特征之一。音频信号涉及非均匀的随机过程，其特点为随时间变化，即MFCC随时间变化。同时，MFCC也具有空间相关特征。例如，在一首唐诗中，有两个字在欧几里德空间中相邻，但它们的音调却完全不相关。近年来，图神经网络（GNN）的出现为空间相关性建模提供了一种新的解决方案。然而，MFCC随时间的变化是非平稳的和时间相关的，这使得传统GNN模型难以有效提取时间特征和进行长时间特征预测。因此，提出一种能有效提取MFCC的时间和空间特征的GNN模型，具有重要的意义。
本文基于MFCC数据的多头时空注意特征,提出了一种基于GNN的时空注意特征的新型汉语古典诗歌多头语音注意特征预测模型，该预测模型首次采用了新的多头语音注意预测机制，并分别提出了一种基于GNN的多头语音注意预测机制和基于GNN的新的语音神经网络预测模型。通过对采样点所表示的相邻节点特征进行聚合，图注意网络（GAT）在提取MFCC数据空间特征方面的性能得到了提高。此外，为减少建模的复杂性，引入了自编码机制。同时，在训练过程中采用了计划采样机制，极大地提高了建模的容错性。现在我们已经将该模型应用于不同的数据集上进行实验，结果表明，该模型能够有效地提取诗歌语音的MFCC。本文的主要贡献如下：
（1） 我们首次提出了一种新的神经网络模型，该模型能够通过图建模有效地提取汉语诗歌的特征，并对基于时空图结构的语音信号进行分析；
（2） 基于多头注意机制和GNN，首次提出了一种新的神经网络模型来有效地捕捉MFCC的时空依赖性；
（3） 提出了一种新的模块AGRU。为了大幅降低训练模型的操作复杂度，引入了自编码器以显著大幅提高模型训练时的效率，并通过采用计划采样机制，来大幅提高模型预测值的精度。此外，本文还进行了各种实验。同时，使用三个常用的性能评价模型指标（MAE、MSE和RMSE）可以来帮助验证这个模型的综合性能。根据多个实验的结果，与其他最先进的方法相比，我们提出的模型在多个数据集上的预测性能更好。