自然语言--kenlm环境搭建

Posted 2022-03-22 Terry_dong

这篇博客主要是分享kenlm环境搭建的过程，同时也当给自己留个存档。

      对于这个环境的搭建，我是在ubuntu16.04的虚拟机中进行的，下面直接进入正题：

1、首先看一下此课程中搭建需要用的东西，如下图所示。在运行环境处，对于anaconda和NLTK是很简单的，这里就不多做解释了，如果有需要的可以留言交流。

2、直接进入KenLM环境的搭建，首先进入kenlm的github网址点击打开链接，然后会进入到kenlm的界面，如下：

3、使用命令：wget -O - http://kheafield.com/code/kenlm.tar.gz |tar xz 对kenlm库进行下载，如下所示：

（4）在刚刚kenlm的github官网中可以看到编译的方法：

 

mkdir -p build
cd build
cmake ..
make -j 4

执行方法如下图：

 

对于提示的没有安装cmake，那么进行cmake的安装：

继续执行我们的编译，会看到如下的错误：

对于上图中的错误，谷歌了一下，得到了一个方法，使用命令apt install libboost-dev libboost-test-dev安装boost，如下：

再次尝试编译，如下所示，可以看出是有效果的，然而好像boost的包还是不全面，这就说明我们刚刚没有下载全：

又在网上找了个安装全部库的命令：sudo apt-get install libboost-all-dev（由于此前没截图，此处省略），直接展示执行完后的效果如下：

注意：https://bitbucket.org/eigen/eigen/get/3.2.8.tar.bz2  这个网址不生效，失效了。全都已经搬到GitHub里了。

 所以可以用下面的 地址： wget -O -  https://gitlab.com/libeigen/eigen/-/archive/3.2.10/eigen-3.2.10.tar.bz2 | tar xj 

 eigen说明路径：http://eigen.tuxfamily.org/index.php?title=Main_Page

如图所示，boost的问题解决了，然后按照提示解决Eigen3的问题，最后我们继续cmake：

至此，cmake问题解决。

（5）执行命令：make -j 4，如下所示：

 

至此，kenlm环境搭建完毕。

（6）执行训练模型的脚本，如下所示，可以看出，好像我们的环境还没有搭建完全，提示的是lmplz不存在，然后build_binary不存在：

（7）谷歌查找了一些资料后，发现自己的bin文件夹中是有这些文件的，那么唯一的问题就是我们的系统中没有为它们设置环境变量，将kenlm的路径添加进去即可，这个路径依据自己的机器上的具体路径为准，我的如下图中箭头所示：

保存上述文件，然后执行source .profile，使环境变量生效。

（8）重新执行下训练脚本，如下所示，成功了：

 

       至此，kenlm环境已经搭建成功了，此次分享就到这里，有什么不对的地方欢迎大家交流指正。

关键词：CMake Warning at /usr/share/cmake-3.5/Modules/FindBoost.cmake:725 (message):
  Imported targets not available for Boost version
train.sh.UNK: line 1: lmplz: command not found
train.sh.UNK: line 2: build_binar