Flask+Jieba搭建简单分词服务

Posted 2021-04-12 MarvinIO

Python

作为世界上最好的编程语言, php在Web开发中有着最大的市场, 世界上大概三成的网站由PHP开发. 同为解释型脚本语言Python和Ruby虽然都各自有很多领先PHP的语言特性, 但是在Web开发方面一直没有PHP应用的广泛. 但是随着Google的AlphaGo三比一战胜曾经世界围棋冠军李世石之后, 深度学习技术的强势崛起引发了全世界范围的AI热潮, 一直偏于小众的Python由此强势崛起, 因为Python在科学计算等方面的框架无论数量和质量都比PHP不知道高到哪里去了, 现在最火的机器学习框架Tensorflow也提供了Python版本,同时Python还兼有脚本语言的简单易上手特性, 我觉得Python可是算是普通程序员接触机器学习及人工智能的必备技能了.

官网: https://www.python.org/

 

Jieba分词

 

Jieba分词提供了自定义词典, 动态调整词典, 关键词提取, 词性标注, 并行分词等功能, 具体可以参考Github上的介绍和文档.

 

安装Jieba库非常简单

pip install jieba

使用也非常简单

Flask 框架

但是分词服务的调用方未必始终是Python程序, 也许是Web站点, 也许是命令行, 所以为了方便, 最好把分词服务包装成Web接口发布出去. 我选择了Flask框架, 原因很简单, 就是简单, 比起来Django框架要简单和轻量级, 而我也暂时用不上太多框架提供的功能. 而且Flask还提供了一个简单的Server功能可以开箱既用.

 

Flask安装也同样简单

pip install flask

 

hello world代码也很简单, 20多行代码就可以把服务跑起来

python app.py & 放到后台跑起来

 

但是一般不会开放5000这个端口给外部调用, 通常是打包成Web服务发布, 我的服务器上使用的nginx作为Web服务器, 只需要在Nginx做一个代理转发就可以了

Nginx配置, 对应的域名和目录下做转发

配置好之后重启下nginx服务即可.

至此即大功告成, 大家可以点击查看原文在MarvinIO上试下