pyltp安装踩坑记录

Posted 2020-10-31 乐水悠悠

LTP（Language Technology Platform）由哈工大社会计算与信息检索研究中心开发，提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、 高效、精准的自然语言处理技术。

LTP的源码是C++，也提供Java和Python版本。Python版本的安装方法是在cmd下输入

pip install pyltp

安装需要C++的编译环境。

然而在安装包下载下来开始安装的时候，报下面的错误

Exception:

Traceback (most recent call last):

  File "d:\ python36\lib\site-packages\pip\compat\__init__.py", line 73, in console_to_str

    return s.decode(sys.__stdout__.encoding)

UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xc8 in position 3: invalid continuation byte

 

很明显是编码的问题，找到d:\ python36\lib\site-packages\pip\compat\__init__.py文件，第73行，把sys.__stdout__.encoding改成“gbk”，再次安装，这个错误消失。因为Windows中文版常用的编码就是ansi、utf-8、gbk、gb2312这几种，试两次就能确定。

之后的编译，又报了error: command ‘D:\Microsoft Visual Studio 14.0\VC\bin\cl.exe‘ failed with exit status 2错误，多次调试没通过。我就去ltp的GitHub（https://github.com/HIT-SCIR/pyltp）上找Issues，在其中一条（https://github.com/HIT-SCIR/pyltp/issues/94）下面找到了一个博客，http://mlln.cn/2018/01/31/pyltp%E5%9C%A8windows%E4%B8%8B%E7%9A%84%E7%BC%96%E8%AF%91%E5%AE%89%E8%A3%85/，博主的第二种方案提供了编译好的whl文件，正好我的python是3.6的，顺利安装上。

PS：记得把d:\ python36\lib\site-packages\pip\compat\__init__.py文件改回去。

 

下一步，从http://ltp.ai/download.html下载模型文件，解压到一个文件夹下，到此，安装完成。