pyAudio介绍

Posted 今夜无风

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pyAudio介绍相关的知识,希望对你有一定的参考价值。

概要

pyaudio有这么几个功能: 
- 提取特征 
- 训练并且使用分类器 
- 语音分割功能 
- 内容关系可视化

python实现,好处有这么几个 
- 适合做计算分析类型操作(编码少,效率不低) 
- 免费 
- 不需要很复杂的搭环境 
- 大量的第三方库可以使用

具体功能

  • 特征提取(feature extraction):关于时域信号和频域信号都有所涉及
  • 分类(classification):监督学习,需要用已有的训练集来进行训练。交叉验证也实现了,进行参数优化使用。分类器可以保存在文件中以后使用。
  • 回归(regression):将语音信号映射到一个回归值。
  • 分割(segmenttation):有四个功能被实现了 
    • [x] 固定大小的分割
    • [x] 静音检测(silence removal)
    • [x] 语音聚类(speaker diarization)
    • [x] 语音缩略图(audio thumbnailing)
  • 可视化:给定语音,将内容可视化

技术分享

特征提取

所有的短时间特征可以见下图 
技术分享

  • 短时间特征(short-term features) 
    • 时域特征(特征1-3)是直接提取的
    • 频域特征(特征4-34,MFCC除外)是由傅里叶转换而来
    • MFCC特征提取过程已经讨论过

过程:语音信号分帧,一帧有34个特征。一般20~100ms

  • 中等长度特征(mid-term features)和特别长的特征(long-term features)

    • 中等长度的调用短时间的特征,并进行统计运算
    • 1-10分钟左右长度
    • long-term调用Mid-term然后做统计运算
  • 速度有关的特征

语音分割

pyaudio提供了两类的语音分割 
- 有监督的语音分割:需要有提供一些材料,例如,已经训练好的分类器。为此,此库提供了两种算法:分类的方法和隐马尔科夫的算法 
- 无监督的语音分割:无监督的或者半监督的,不需要提供知识准备,主要的例子是静音检测,语音聚类,语音缩略图

有监督的

  • 固定长度的分割算法(fix-sized segmentation) 
    • audiosegmentation.py的函数mtFileClassfication()是主要的 
      • 切分一个语音段为一个连续的中等长度的段(mid-term)并且提取min-term features,使用mtFeatureExtraction()
      • 使用已经训练好的模型来进行分类
      • 只要两个段相连并且都是同一个类别,就将两个段进行合并
      • 将数据进行可视化
    • 注意事项,一个.segment的文件必须要有
    • plotSegmentationResults()用来画图可视化数据
  • 隐马尔科夫模型分割算法(HMM-based segmentation)

    • 用户需要提供已经标注过的数据,包括:段开始点,段结束点,段类别
    • 一个语音文件配一个标注的配置文件,两者构成训练集
    • TrainHMM_fromFile()和TrainHMM_fromDir()是两个训练的函数
    • hmmSegmentation()函数用来使用HMM算法
    • plotSegmentationResult()可视化并且计算正确率

    技术分享

无监督的语音分割

  • 静音检测

    • 短时间特征提取
    • 训练SVM,在高能帧和低能帧中,特别的,10%的高能帧和10%的低能帧用在训练SVM模型
    • 将SVM分类器用在全部的语音中,得到一串概率值,对应此帧是个时间帧(audio event)的概率
    • 一个动态的阈值被用来探测段是不是活跃的

    技术分享

 
0















以上是关于pyAudio介绍的主要内容,如果未能解决你的问题,请参考以下文章

pyaudio录音不写文件

错误安装PyAudio“失败的建筑轮为PyAudio”

PyAudio 输入溢出

无法安装pyaudio,gcc错误

PyAudio IOError:没有可用的默认输入设备

使用 PyAudio 录制扬声器输出