[语音识别] kaldi -- aidatatang_200zh脚本解析:下载数据

Posted 2021-08-13 MachineLP

输入：语料库位置（$data） 数据下载路径（$data_url）

输出：在$data文件夹下新增解压后的语料库（corpus和transcript文件夹，corpus含音频文件和说话人信息等)

可选参数：

• --remove-archive 决定是否要在解压后删除data压缩包（默认关闭）

local/download_and_untar.sh $data $data_url aidatatang_200zh || exit 1;

流程：

1.判断是否开启解压后删除压缩包的开关（根据--remove-archive 参数，默认关闭)
2.判断参数是否等于3个（不包含删除压缩包的参数)
3.检验参数有效性（例如文件夹是否存在，下载地址长度是否大于0等，语料库名是否正确【这里需要为aidatatang_200zh】）
4.判断是否已经存在数据并解压完成，完成则退出，未完成则继续
5.判断在$data目录下是否存在aidatatang_200zh.tgz的文件
5.1 如果有，则判断压缩包大小是否正确。错误则删除压缩包
5.2 如果没有，则使用$data_url下载
6.tar -xvzf 数据压缩包
7.处理完后会在$data/$part/添加.complete文件
8.将corpus/下的train/test/dev的wav压缩包分别解压至各目录下，并删除压缩包
9.如果有开启删除压缩包的开关则删除数据压缩包(18G那个)

备注：

解压后产生.complete、corpus和transcript(.complete和两个文件夹同一级目录)
co