ubuntu kenlm安装和使用

Posted 2021-03-02 xiennnnn

一、安装

　　1.下载地址：https://github.com/kpu/kenlm

　　2.unzip mv mkdir -p build

　　3.进入到build目录下 cmake ..

　　　　(1) ubuntu cmake找不到boost库 sudo apt-get install libboost-all-dev

　　4. make -j 4

　　

　　成功

二、使用

　　1. 创建mymodel 和 corpus目录

　　2. 执行命令 ./build/bin/lmplz -o 3 --verbose_header --text ./corpus/test.txt --arpa ./mymodel/log.arpa

　　　　（1）test.txt 语料txt 、log.arpa 模型名称

　　3. 压缩 ./build/bin/build_binary -s ./mymodel/log.arpa ./mymodel/log.bin

　　4. pip install https://github.com/kpu/kenlm/archive/master.zip

　　5. lm = kenlm.Model(‘‘) lm.score("句子")