从声音文件中获取帧

Posted 2023-02-25

【中文标题】从声音文件中获取帧

【英文标题】：Getting frame from soundfile

【发布时间】：2017-02-28 12:41:58

【问题描述】：

有谁知道如何将声音文件拆分为帧，然后可以将其转换为详细说明帧中特定声音频率的 numpy 数组？

例如，使用 cv2，我可以将影片剪辑分割成帧，然后我可以将这些帧存储为图像库。这段代码很好地完成了这项工作，以至于之后我可以轻松地获得每张图像的颜色直方图。

filepath1 = input('Please enter the filepath for where the frames should be saved: ') 

name = input('Please enter the name of the clip: ') 

ret, frame = clip.read()
count = 0
ret == True
while ret:
    ret, frame = clip.read()
    cv2.imwrite(os.path.join(filepath1,name+'%d.png'%count), frame)
    count += 1

但我似乎找不到任何与声音文件相当简单的东西；有人对如何（或是否）有任何建议吗？

【问题讨论】：

只是为了确定 - 您确实不想从声音文件中创建一系列图像，对吧？

嗯，是的。因为如果我要从声音文件中寻找一系列图像，我会遇到比这里发布的问题大得多的问题。我仅以类比的方式使用电影示例；我想要相当于电影帧的声音文件。

【参考方案1】：

严格来说，相当于电影帧的声音文件是音频样本。这只是每个频道的一个值，所以我不确定这是否是你真正想要的。我对您想要实现的最佳猜测是分析文件的频率内容如何随时间变化。

也许你想看看spectrogram？在这种情况下，从www.frank-zalkow.de 获取的以下脚本可能完全符合您的要求，或者至少为您提供了一些如何开始的想法。

#!/usr/bin/env python
#coding: utf-8
""" This work is licensed under a Creative Commons Attribution 3.0 Unported License.
    Frank Zalkow, 2012-2013 """

import numpy as np
from matplotlib import pyplot as plt
import scipy.io.wavfile as wav
from numpy.lib import stride_tricks

""" short time fourier transform of audio signal """
def stft(sig, frameSize, overlapFac=0.5, window=np.hanning):
    win = window(frameSize)
    hopSize = int(frameSize - np.floor(overlapFac * frameSize))

    # zeros at beginning (thus center of 1st window should be for sample nr. 0)
    samples = np.append(np.zeros(np.floor(frameSize/2.0)), sig)    
    # cols for windowing
    cols = np.ceil( (len(samples) - frameSize) / float(hopSize)) + 1
    # zeros at end (thus samples can be fully covered by frames)
    samples = np.append(samples, np.zeros(frameSize))

    frames = stride_tricks.as_strided(samples, shape=(cols, frameSize), strides=(samples.strides[0]*hopSize, samples.strides[0])).copy()
    frames *= win

    return np.fft.rfft(frames)    

""" scale frequency axis logarithmically """    
def logscale_spec(spec, sr=44100, factor=20.):
    timebins, freqbins = np.shape(spec)

    scale = np.linspace(0, 1, freqbins) ** factor
    scale *= (freqbins-1)/max(scale)
    scale = np.unique(np.round(scale))

    # create spectrogram with new freq bins
    newspec = np.complex128(np.zeros([timebins, len(scale)]))
    for i in range(0, len(scale)):
        if i == len(scale)-1:
            newspec[:,i] = np.sum(spec[:,scale[i]:], axis=1)
        else:        
            newspec[:,i] = np.sum(spec[:,scale[i]:scale[i+1]], axis=1)

    # list center freq of bins
    allfreqs = np.abs(np.fft.fftfreq(freqbins*2, 1./sr)[:freqbins+1])
    freqs = []
    for i in range(0, len(scale)):
        if i == len(scale)-1:
            freqs += [np.mean(allfreqs[scale[i]:])]
        else:
            freqs += [np.mean(allfreqs[scale[i]:scale[i+1]])]

    return newspec, freqs

""" plot spectrogram"""
def plotstft(audiopath, binsize=2**10, plotpath=None, colormap="jet"):
    samplerate, samples = wav.read(audiopath)
    s = stft(samples, binsize)

    sshow, freq = logscale_spec(s, factor=1.0, sr=samplerate)
    ims = 20.*np.log10(np.abs(sshow)/10e-6) # amplitude to decibel

    timebins, freqbins = np.shape(ims)

    plt.figure(figsize=(15, 7.5))
    plt.imshow(np.transpose(ims), origin="lower", aspect="auto", cmap=colormap, interpolation="none")
    plt.colorbar()

    plt.xlabel("time (s)")
    plt.ylabel("frequency (hz)")
    plt.xlim([0, timebins-1])
    plt.ylim([0, freqbins])

    xlocs = np.float32(np.linspace(0, timebins-1, 5))
    plt.xticks(xlocs, ["%.02f" % l for l in ((xlocs*len(samples)/timebins)+(0.5*binsize))/samplerate])
    ylocs = np.int16(np.round(np.linspace(0, freqbins-1, 10)))
    plt.yticks(ylocs, ["%.02f" % freq[i] for i in ylocs])

    if plotpath:
        plt.savefig(plotpath, bbox_inches="tight")
    else:
        plt.show()

    plt.clf()

plotstft("my_audio_file.wav")

【讨论】：

但是请注意，频谱图只对较长的音频记录有意义，而不是对单个时间索引有意义。 OP 可能想要做的是为每一帧提取一小段音频，并对其进行 FFT，从而为他提供该帧的结果频谱。然后可以绘制光谱图或将其保存到文件中。这个blog post 描述了这项任务所需的大部分内容（不要介意德语的第一段）。

@Schmuddi 没错。 * 为每一帧提取一小段音频，并对其进行 FFT，从而为他提供该帧的最终频谱 * 正是频谱图中发生的情况。基本上，生成图像中的每一列都是音频“拉伸”的 FFT/PSD。

谢谢大家；所有这些答案都很有用，并且都提供了有价值（和互补）的方式来做我感兴趣的事情。现在，最好开始与他们一起工作！