kenlm的使用

Posted 2020-12-31 climbing-snail

1.训练模型

install_path/bin/lmplz -o 3 -S 80% -T /temp <text >text.arpa 

•     -o  表示n_gram 中的n（必选）
•     -S  内存使用（可选）
•     -T  临时文件（可选）
•     -text  待训练语料，必须分词
•     -text.arpa  输出为arpa格式的n_gram结果，如下图所示：

        

2.查询模型

    为了更快的加载将 text.arpa 转换为 binary 文件

install_path/bin/build_binary text.arpa text.binary 

    测试

install_path/bin/query text.binary <test.txt >result.txt

    结果如下图所示，输出每个句子的混淆度和未登录词，以及整个测试语料的混淆度和未登录词。