：音频处理

Posted ayou_llf

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了：音频处理相关的知识，希望对你有一定的参考价值。

  1. 学习如何使用javacv进行音频处理

使用 javacv 进行音频处理需要使用 FFmpeg 的 libavcodec 库进行音频解码、编码以及音频转换等操作，同时还需要使用 OpenCV 的视频 I/O 模块进行音频数据读写。

以下是一些常见的音频处理操作以及使用 javacv 实现这些操作的方法：

  1. 音频格式转换：可以使用 FFmpeg 的 libswresample 库进行音频格式转换。可以通过 javacv 中的 FFmpegFrameGrabber 和 FFmpegFrameRecorder 类进行音频解码和编码。具体实现方法可以参考上述的视频处理部分。

  1. 音频增益处理：可以使用 javacv 中的 JavaCV.audioGain 类进行音频增益处理。该类提供了 changeVolume() 方法，可以调整音频的音量大小。

  1. 音频降噪处理：可以使用 javacv 中的 JavaCV.noiseReduction 类进行音频降噪处理。该类提供了 reduceNoise() 方法，可以对音频进行降噪处理。

  1. 音频合并处理：可以使用 javacv 中的 JavaCV.audioMerge 类进行音频合并处理。该类提供了 mergeAudio() 方法，可以将多个音频文件进行合并。

  1. 音频切割处理：可以使用 javacv 中的 JavaCV.audioCut 类进行音频切割处理。该类提供了 cutAudio() 方法，可以对音频文件进行切割处理。

以下是一个使用javacv进行音频处理的示例代码，该代码演示了如何使用javacv读取音频文件、对音频进行降噪和增益处理、并将处理后的音频保存到新文件中：

import org.bytedeco.javacv.*;

public class AudioProcessingExample 
    public static void main(String[] args) 
        // 定义输入和输出文件路径
        String inputFilePath = "input.wav";
        String outputFilePath = "output.wav";

        // 创建FFmpegFrameGrabber来读取音频文件
        FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(inputFilePath);

        try 
            // 开启抓取器
            grabber.start();

            // 获取音频信息
            int numChannels = grabber.getAudioChannels();
            int sampleRate = grabber.getSampleRate();

            // 创建FFmpegFrameRecorder来写入音频文件
            FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFilePath, numChannels);

            // 设置音频编码器
            recorder.setAudioCodec(grabber.getAudioCodecName());

            // 设置音频格式
            recorder.setAudioFormat(grabber.getSampleFormat());

            // 设置音频采样率
            recorder.setSampleRate(sampleRate);

            // 设置音频比特率
            recorder.setAudioBitrate(grabber.getAudioBitrate());

            // 开启录制器
            recorder.start();

            // 创建一个降噪器
            OpenCVFrameFilter denoiser = new OpenCVFrameFilter("noiseprofile=denoise=1:noise=10");

            // 创建一个增益器
            OpenCVFrameFilter gain = new OpenCVFrameFilter("volume=3dB");

            // 读取音频帧
            Frame audioFrame = null;
            while ((audioFrame = grabber.grabFrame()) != null) 
                // 过滤器处理音频帧
                denoiser.push(audioFrame);
                Frame denoisedFrame = denoiser.pull();

                gain.push(denoisedFrame);
                Frame gainFrame = gain.pull();

                // 将处理后的音频帧写入新文件
                recorder.record(gainFrame);
            

            // 释放抓取器和录制器
            grabber.stop();
            grabber.release();
            recorder.stop();
            recorder.release();
         catch (FrameGrabber.Exception | FrameRecorder.Exception e) 
            e.printStackTrace();

该示例代码中使用了FFmpegFrameGrabber来读取音频文件，FFmpegFrameRecorder来写入音频文件，以及OpenCVFrameFilter来进行降噪和增益处理。读取音频帧的过程和读取视频帧的过程类似，只是音频帧没有像素数据，而是包含音频采样数据。因此，对音频进行处理的方法也不同于对视频进行处理，需要使用专门的音频过滤器来进行处理。

  1. 学习如何对音频进行剪辑、拼接和混合等操作

  1. 音频剪辑：使用FFmpegFrameGrabber和FFmpegFrameRecorder分别读取和写入音频文件，然后对音频进行剪辑操作，最后将剪辑后的音频写入到新的音频文件中。

public static void audioClip(String srcFile, String dstFile, int startMs, int endMs) throws Exception 
    FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(srcFile);
    grabber.start();
    FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(dstFile, grabber.getAudioChannels());
    recorder.setSampleRate(grabber.getSampleRate());
    recorder.start();
    Frame frame;
    int startFrame = (int) (startMs * grabber.getSampleRate() / 1000);
    int endFrame = (int) (endMs * grabber.getSampleRate() / 1000);
    while ((frame = grabber.grabFrame()) != null) 
        if (frame.samples == null) 
            break;
        
        int frameNumber = grabber.getFrameNumber();
        if (frameNumber >= startFrame && frameNumber <= endFrame) 
            recorder.recordSamples(frame.samples);
        
        if (frameNumber > endFrame) 
            break;
        
    
    grabber.stop();
    recorder.stop();

  1. 音频拼接：使用FFmpegFrameGrabber和FFmpegFrameRecorder分别读取和写入音频文件，然后将多个音频文件的音频数据按顺序写入到新的音频文件中。

public static void audioConcat(List<String> srcFiles, String dstFile) throws Exception 
    List<FFmpegFrameGrabber> grabbers = new ArrayList<>();
    List<Integer> sampleRates = new ArrayList<>();
    for (String srcFile : srcFiles) 
        FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(srcFile);
        grabber.start();
        grabbers.add(grabber);
        sampleRates.add(grabber.getSampleRate());
    
    FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(dstFile, 1);
    recorder.setSampleRate(sampleRates.get(0));
    recorder.start();
    Frame frame;
    for (int i = 0; i < grabbers.size(); i++) 
        FFmpegFrameGrabber grabber = grabbers.get(i);
        while ((frame = grabber.grabFrame()) != null) 
            if (frame.samples == null) 
                break;
            
            recorder.recordSamples(frame.samples);
        
    
    for (FFmpegFrameGrabber grabber : grabbers) 
        grabber.stop();
    
    recorder.stop();

  1. 音频混合：使用FFmpegFrameGrabber和FFmpegFrameRecorder分别读取和写入音频文件，然后将多个音频文件的音频数据按一定的比例混合后写入到新的音频文件中。

// 输入文件名和输出文件名
String inputFile1 = "input1.mp3";
String inputFile2 = "input2.mp3";
String outputFile = "output.mp3";

// 创建音频读取器和写入器
FFmpegFrameGrabber grabber1 = new FFmpegFrameGrabber(inputFile1);
grabber1.start();
FFmpegFrameGrabber grabber2 = new FFmpegFrameRecorder(inputFile2);
grabber2.start();
FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, 2);
recorder.setAudioCodec(AV_CODEC_ID_MP3);
recorder.setAudioBitrate(128000);

// 混合音频
Frame frame1, frame2;
while ((frame1 = grabber1.grabFrame()) != null && (frame2 = grabber2.grabFrame()) != null) 
    Frame mixedFrame = new Frame();
    mixedFrame.samples = new ShortBuffer[]  frame1.samples[0], frame2.samples[0] ;
    mixedFrame.sampleRate = frame1.sampleRate;
    mixedFrame.audioChannels = 2;
    mixedFrame.opaque = frame1.opaque;
    mixedFrame.timestamp = Math.max(frame1.timestamp, frame2.timestamp);
    recorder.record(mixedFrame);


recorder.stop();
grabber1.stop();
grabber2.stop();

  1. 学习如何进行音频特效处理

JavaCV 提供了一些常见的音频特效处理功能，例如音频变速、音频变调、音频混响和音频降噪等。下面是一些基本的音频特效处理操作的示例。

音频变速

要对音频进行变速处理，可以使用 FFmpegFrameGrabber 类读取原始音频文件的音频流，然后使用 FFmpegFrameFilter 类设置变速过滤器并将音频流输入到该过滤器中。最后，使用 FFmpegFrameRecorder 类将变速后的音频流写入新的音频文件中。

// 输入文件名和输出文件名
String inputFile = "input.mp3";
String outputFile = "output.mp3";

// 创建音频读取器和写入器
FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(inputFile);
grabber.start();
FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, grabber.getAudioChannels());
recorder.setAudioCodec(grabber.getAudioCodec());
recorder.setAudioBitrate(grabber.getAudioBitrate());

// 创建变速过滤器
String filter = String.format("atempo=%.2f", 1.5f);
FFmpegFrameFilter frameFilter = new FFmpegFrameFilter(filter, grabber.getAudioChannels());
frameFilter.start();

// 变速并写入音频
Frame frame;
while ((frame = grabber.grabFrame()) != null) 
    frameFilter.push(frame);
    Frame filteredFrame;
    while ((filteredFrame = frameFilter.pull()) != null) 
        recorder.record(filteredFrame);
    

frameFilter.stop();
recorder.stop();
grabber.stop();

这个示例使用 atempo 过滤器实现变速功能，atempo 参数的值表示变速倍数，1.0 表示不变速，1.5 表示变速 1.5 倍。

音频变调

要对音频进行变调处理，可以使用 FFmpegFrameGrabber 类读取原始音频文件的音频流，然后使用 FFmpegFrameFilter 类设置变调过滤器并将音频流输入到该过滤器中。最后，使用 FFmpegFrameRecorder 类将变调后的音频流写入新的音频文件中。

// 输入文件名和输出文件名
String inputFile = "input.mp3";
String outputFile = "output.mp3";

// 创建音频读取器和写入器
FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(inputFile);
grabber.start();
FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, grabber.getAudioChannels());
recorder.setAudioCodec(grabber.getAudioCodec());
recorder.setAudioBitrate(grabber.getAudioBitrate());

// 创建变调过滤器
String filter = String.format("asetrate=%d,atempo=%.2f", 44100, 1.5f);
FFmpegFrameFilter frameFilter = new FFmpegFrameFilter(filter, grabber.getAudioChannels());
frameFilter.start();

// 变调并写入音频
Frame frame;
while ((frame = grabber.grabFrame()) != null) 
    frameFilter.push(frame);
    Frame filteredFrame;
    while ((filteredFrame = frameFilter.pull()) != null) 
        recorder.record(filteredFrame);
    

frameFilter.stop();
recorder.stop();
grabber.stop();

这个示例使用 asetrate 和 atempo 过滤器实现变调功能，其中 asetrate 参数的值表示变换后的采样率，这里设置为 44100，atempo 参数的值表示变调倍数，这里设置为 1.5 倍。您可以根据需要修改这些参数的值。

音频混响

音频混响是一种通过添加混响效果来增强音频质量的方法。在 JavaCV 中，我们可以使用 sox 工具来实现音频混响。sox 是一个命令行工具，它可以在各种操作系统上使用，可以在 Linux，Windows 和 macOS 等操作系统上安装使用。

// 输入文件名和输出文件名
String inputFile = "input.mp3";
String outputFile = "output.mp3";

// 创建音频读取器和写入器
FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(inputFile);
grabber.start();
FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, grabber.getAudioChannels());
recorder.setAudioCodec(grabber.getAudioCodec());
recorder.setAudioBitrate(grabber.getAudioBitrate());

// 创建混响过滤器
String filter = "reverb";
FFmpegFrameFilter frameFilter = new FFmpegFrameFilter(filter, grabber.getAudioChannels());
frameFilter.start();

// 添加混响效果并写入音频
Frame frame;
while ((frame = grabber.grabFrame()) != null) 
    frameFilter.push(frame);
    Frame filteredFrame;
    while ((filteredFrame = frameFilter.pull()) != null) 
        recorder.record(filteredFrame);
    

frameFilter.stop();
recorder.stop();
grabber.stop();

这个示例使用 reverb 过滤器实现音频混响效果。您可以根据需要选择不同的混响效果。另外，请确保已安装并配置了 sox 工具，以便 JavaCV 可以正确地使用它。

音频降噪

音频降噪是一种通过去除噪声来提高音频质量的方法。在 JavaCV 中，我们可以使用 WebRTC 库来实现音频降噪。WebRTC 是一个开源项目，它提供了实时通信功能，包括音频和视频通信。

// 输入文件名和输出文件名
String inputFile = "input.mp3";
String outputFile = "output.mp3";

// 创建音频读取器和写入器
FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(inputFile);
grabber.start();
FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, grabber.getAudioChannels());
recorder.setAudioCodec(grabber.getAudioCodec());
recorder.setAudioBitrate(grabber.getAudioBitrate());

// 创建降噪过滤器
String filter = "anlmdn=ns=16:ss=16:fa=500";
FFmpegFrameFilter frameFilter = new FFmpegFrameFilter(filter, grabber.getAudioChannels());
frameFilter.start();

// 降噪并写入音频
Frame frame;
while ((frame = grabber.grabFrame()) != null) 
    frameFilter.push(frame);
    Frame filteredFrame;
    while ((filteredFrame = frameFilter.pull())!= null) 
        recorder.record(filteredFrame);
    

frameFilter.stop();
recorder.stop();
grabber.stop();

这个示例使用 `anlmdn` 过滤器实现音频降噪效果。您可以根据需要调整降噪参数。另外，请确保已安装并配置了 WebRTC 库，以便 JavaCV 可以正确地使用它。

Matlab 音频处理求教

求MATLAB大神求教。如何用matlab处理这个音频。
如果有两音频，A音频包括B音频，如何将B从A中删除，，感觉相似于音频去噪。

具体怎么编程，还请赐教。

参考技术A 如果A音频与B音频长度相同，可直接用减法去除B音频。如果长度不同，是不好处理的。可把两个音频文件发过来，看能不能处理。追问

减去的话用的是哪个指令呀？
但是就算一样长，录音的音质也不可能达到完全吻合啊。这个可以直接相减吗？

追答

这是用matlab的算法，根据数据文件的长短、采样频率、通道数等等进行减法运算的，可能有所差别。

以上是关于：音频处理的主要内容，如果未能解决你的问题，请参考以下文章

实时音频编解码之十一Opus编码

新的Google Lyra音频编解码器对实时视频流意味着什么？

走进音视频的世界——Opus编解码协议

一个强大的音视频编解码库-rkmedia的应用

直播常见面试题

视频编解码的理论和实践2：Ffmpeg视频编解码