文本预处理与停用词
Posted bohu83
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了文本预处理与停用词相关的知识，希望对你有一定的参考价值。
文本预处理：
假设抓取的数据就是html。比如这种：
<div id="container">
<div class="corner_top"></div>
<div class="common_hd clearfix">
<div class="fl commend">
甲磺酸伊马替尼胶囊
<div class="starout">
<form class="star-rate-form" action="" methos="post">
<input name="star" type="radio" class="star" value="1" title="很差" />
<input name="star" type="radio" class="star" value="2" title="较差" />
<input name="star" type="radio" class="star" value="3" title="还行" />
<input name="star" type="radio" class="star" value="4" title="推荐" />
<input name="star" type="radio" class="star" value="5" title="力荐" />
</form><span id="starrate-result"></span><span id="drug-starrate-result"></span>
</div>
</div>
<div id="dialog-login">
<div>只有认证医师才能评分，请
<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><span style="color:blue"> 登录 </span></a>
或 <a href="http://i.dxy.cn/doctor/identify?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><span style="color:blue"> 认证 </span></a>
</div>
</div>
<div class="fr f12 result-status" id="share">
<ul class="ShareThis">
<li class="copy"><a href="javascript:void((function()var href = 'http://drugs.dxy.cn/drug/92161/detail.htm'; if(window.clipboardData) clipboardData.setData('Text', href); alert('复制成功,请粘贴到你的QQ/MSN上推荐给你的好友！'); else prompt('你使用的是非IE核心浏览器，请按下 Ctrl+C 复制代码到剪贴板', href);
)())">复制网址</a></li>
<li class="sina"><a href="javascript:void((function()var title = '格列卫说明书(甲磺酸伊马替尼胶囊) 格列卫副作用', href = 'http://drugs.dxy.cn/drug/92161/detail.htm'; var api = 'http://service.weibo.com/share/share.php?appkey=1611508056&ralateUid=2473225961' + '&title=' + encodeURIComponent(title) + '&url=' + encodeURIComponent(href) + '&content=' + (document.charset || 'gbk'); window.open(api, '_blank', 'toolbar=0,status=0,resizable=1,width=440,height=430,' + 'left=' + (screen.width-440)/2 + ',top=' + (screen.height-430)/2 );
)())">新浪微博</a></li>
</ul>
</div>
</div>
<div class="common_bd clearfix">
<div class="common_mainwrap fl">
<div class="common_main mr260">
<div class="m49 detail detail1">
<dl>
<dt><span class="fl">药品名称:</span></dt>
<dd>
通用名称：甲磺酸伊马替尼胶囊<br/>
英文名称：Glivec (Imatinib Mesylate Capsules)<br/>
商品名称：格列卫<br/>
</dd>
<dt><span class="fl" id="2">成份:</span></dt>
<dd>
本品活性成份为甲磺酸伊马替尼。 </dd>
<dt>
<span class="fl" id="3">适应症:</span>
<a href="#3" onclick="showDrugDetail(this,92161,3)" class="bg fr"></a>
</dt>
<dd id="92161_3">
用于治疗费城染色体阳性的慢性髓性白血病（Ph+ CML）的慢性期、加速期或急变期；用于治疗不能切除和/或发生转移的恶性胃肠道间质瘤（GIST）的成人患者；联合化疗治疗新诊断的费城染色体阳性急性淋巴细胞... </dd>
<dd id="92161_3_detail" style="display:none">该信息登录才能查看，请<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd>
<dt>
<span class="fl" id="4">用法用量:</span>
<a href="#4" onclick="showDrugDetail(this,92161,4)" class="bg fr"></a>
</dt>
<dd id="92161_4">
治疗应由对恶性肿瘤患者有治疗经验的医师进行。甲磺酸伊马替尼应在进餐时服用，并饮一大杯水，以使胃肠道紊乱的风险降到最小。通常成人每日一次，每次400mg或600mg，以及日服用量800mg即400mg剂... </dd>
<dd id="92161_4_detail" style="display:none">该信息登录才能查看，请<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd>
<dt>
<span class="fl" id="14">不良反应:</span>
<a href="#14" onclick="showDrugDetail(this,92161,14)" class="bg fr"></a>
</dt>
<dd id="92161_14">
晚期恶性肿瘤患者可能会出现相互混杂的临床症状，但由于它们与潜在疾病、疾病本身进展、以及同时服用多种药物有关，因此常难以明确它们的因果关系。 一般来说，包括儿科在内的CML患者长期每日口服本品的耐受性较... </dd>
<dd id="92161_14_detail" style="display:none">该信息登录才能查看，请<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd>
<dt><span class="fl" id="12">禁忌:</span></dt>
<dd>
对本药活性物质或任何赋形剂成份过敏者禁用。 </dd>
<dt>
<span class="fl" id="13">注意事项:</span>
<a href="#13" onclick="showDrugDetail(this,92161,13)" class="bg fr"></a>
</dt>
<dd id="92161_13">
已有报道，本品治疗的患者有明显的左心室射血分数（LVEF）减少，以及充血性心力衰竭的症状。在动物实验中显示，c-ABL酶抑制剂能引起心肌细胞的强烈反应，大鼠的致癌性试验中，已有心肌疾病的报道。因此，对... </dd>
<dd id="92161_13_detail" style="display:none">该信息登录才能查看，请<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd>
<dt>
<span class="fl" id="6">药物相互作用:</span>
<a href="#6" onclick="showDrugDetail(this,92161,6)" class="bg fr"></a>
</dt>
<dd id="92161_6">
可改变伊马替尼血浆浓度的药物CYP3A4抑制剂： 健康受试者同时服用单剂酮康唑（CYP3A4抑制剂）后，伊马替尼的药物暴露量显著增加（平均最高血浆浓度（Cmax）和伊马替尼曲线下面积（AUC）可分别增... </dd>
<dd id="92161_6_detail" style="display:none">该信息登录才能查看，请<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd>
<dt>
<span class="fl" id="48">临床试验:</span>
<a href="#48" onclick="showDrugDetail(this,92161,48)" class="bg fr"></a>
</dt>
<dd id="92161_48">
以下均为国外研究报道。慢性髓性白血病临床研究 对Ph+慢性髓性白血病急变期、加速期和经α-干扰素（INF）治疗失败的慢性期患者进行了三项开放、非对照性的II期临床研究。在一项大规模、开放、对照的III... </dd>
<dd id="92161_48_detail" style="display:none">该信息登录才能查看，请<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd>
<dt>
<span class="fl" id="27">毒理研究:</span>
<a href="#27" onclick="showDrugDetail(this,92161,27)" class="bg fr"></a>
</dt>
<dd id="92161_27">
在经伊马替尼长期治疗后，大鼠机会性感染的发生率增加，并且猴子体内通常被抑制的疟疾感染病情加重。遗传毒性在一项体外细菌（Ames test）实验、一项体外哺乳动物细胞分析（小鼠淋巴瘤实验）和一项体内大鼠... </dd>
<dd id="92161_27_detail" style="display:none">该信息登录才能查看，请<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd>
<dt>
<span class="fl" id="36">化学成份:</span>
<a href="#36" onclick="showDrugDetail(this,92161,36)" class="bg fr"></a>
</dt>
<dd id="92161_36">
化学名称：4-[(4-甲基-1-哌嗪)甲基]-N-[4-甲基-3-[[4-(3-吡啶)-2-嘧啶]氨基]苯基]-苯甲酰胺甲磺酸盐 化学结构式： 分子式：C29H31N7O·CH4SO3分子量：589.... </dd>
<dd id="92161_36_detail" style="display:none">该信息登录才能查看，请<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd>
<dt><span class="fl" id="39">批准文号:</span></dt>
<dd>
进口药品注册证号H20150294 </dd>
<dt><span class="fl" id="1">生产企业:</span></dt>
<dd>
Novartis Pharma Schweiz AG </dd>
<dt><span class="fl" id="7">药物分类:</span></dt>
<dd>
蛋白激酶抑制剂 </dd>
</dl>
</div>
</div>
</div>这种就是适合HTML解析，推荐jsoup或者htmlparser。
如果只是包含一些片段。可以直接简单粗暴地使用Str.replaceAll或者正则来处理。
二 停用词
很多中文分词框架支持去掉停用词。看个人选择，jieba 貌似不维护了，ansj效果也不错，还有使用比较多hanlp.
我找了个百度的停用词表，吧英语单词去掉了，供参考：
一
一下
一些
一切
一则
一天
一定
一方面
一旦
一时
一来
一样
一次
一片
一直
一致
一般
一起
一边
一面
万一
上下
上升
上去
上来
上述
上面
下列
下去
下来
下面
不一
不久
不仅
不会
不但
不光
不单
不变
不只
不可
不同
不够
不如
不得
不怕
不惟
不成
不拘
不敢
不断
不是
不比
不然
不特
不独
不管
不能
不要
不论
不足
不过
不问
与
与其
与否
与此同时
专门
且
两者
严格
严重
个
个人
个别
中小
中间
丰富
临
为
为主
为了
为什么
为什麽
为何
为着
主张
主要
举行
乃
乃至
么
之
之一
之前
之后
之後
之所以
之类
乌乎
乎
乘
也
也好
也是
也罢
了
了解
争取
于
于是
于是乎
云云
互相
产生
人们
人家
什么
什么样
什麽
今后
今天
今年
今後
仍然
从
从事
从而
他
他人
他们
他的
代替
以
以上
以下
以为
以便
以免
以前
以及
以后
以外
以後
以来
以至
以至于
以致
们
任
任何
任凭
任务
企图
伟大
似乎
似的
但
但是
何
何况
何处
何时
作为
你
你们
你的
使得
使用
例如
依
依照
依靠
促进
保持
俺
俺们
倘
倘使
倘或
倘然
倘若
假使
假如
假若
做到
像
允许
充分
先后
先後
先生
全部
全面
兮
共同
关于
其
其一
其中
其二
其他
其余
其它
其实
其次
具体
具体地说
具体说来
具有
再者
再说
冒
冲
决定
况且
准备
几
几乎
几时
凭
凭借
出去
出来
出现
分别
则
别
别的
别说
到
前后
前者
前进
前面
加之
加以
加入
加强
十分
即
即令
即使
即便
即或
即若
却不
原来
又
及
及其
及时
及至
双方
反之
反应
反映
反过来
反过来说
取得
受到
变成
另
另一方面
另外
只是
只有
只要
只限
叫
叫做
召开
叮咚
可
可以
可是
可能
可见
各
各个
各人
各位
各地
各种
各级
各自
合理
同
同一
同时
同样
后来
后面
向
向着
吓
吗
否则
吧
吧哒
吱
呀
呃
呕
呗
呜
呜呼
呢
周围
呵
呸
呼哧
咋
和
咚
咦
咱
咱们
咳
哇
哈
哈哈
哉
哎
哎呀
哎哟
哗
哟
哦
哩
哪
哪个
哪些
哪儿
哪天
哪年
哪怕
哪样
哪边
哪里
哼
哼唷
唉
啊
啐
啥
啦
啪达
喂
喏
喔唷
嗡嗡
嗬
嗯
嗳
嘎
嘎登
嘘
嘛
嘻
嘿
因
因为
因此
因而
固然
在
在下
地
坚决
坚持
基本
处理
复杂
多
多少
多数
多次
大力
大多数
大大
大家
大批
大约
大量
失去
她
她们
她的
好的
好象
如
如上所述
如下
如何
如其
如果
如此
如若
存在
宁
宁可
宁愿
宁肯
它
它们
它们的
它的
安全
完全
完成
实现
实际
宣布
容易
密切
对
对于
对应
将
少数
尔后
尚且
尤其
就
就是
就是说
尽
尽管
属于
岂但
左右
巨大
巩固
己
已经
帮助
常常
并
并不
并不是
并且
并没有
广大
广泛
应当
应用
应该
开外
开始
开展
引起
强烈
强调
归
当
当前
当时
当然
当着
形成
彻底
彼
彼此
往
往往
待
後来
後面
得
得出
得到
心里
必然
必要
必须
怎
怎么
怎么办
怎么样
怎样
怎麽
总之
总是
总的来看
总的来说
总的说来
总结
总而言之
恰恰相反
您
意思
愿意
慢说
成为
我
我们
我的
或
或是
或者
战斗
所
所以
所有
所谓
打
扩大
把
抑或
拿
按
按照
换句话说
换言之
据
掌握
接着
接著
故
故此
整个
方便
方面
旁人
无宁
无法
无论
既
既是
既然
时候
明显
明确
是
是否
是的
显然
显著
普通
普遍
更加
曾经
替
最后
最大
最好
最後
最近
最高
有
有些
有关
有利
有力
有所
有效
有时
有点
有的
有着
有著
望
朝
朝着
本
本着
来
来着
极了
构成
果然
果真
某
某个
某些
根据
根本
欢迎
正在
正如
正常
此
此外
此时
此间
毋宁
每
每个
每天
每年
每当
比
比如
比方
比较
毫不
没有
沿
沿着
注意
深入
清楚
满足
漫说
焉
然则
然后
然後
然而
照
照着
特别是
特殊
特点
现代
现在
甚么
甚而
甚至
用
由
由于
由此可见
的
的话
目前
直到
直接
相似
相信
相反
相同
相对
相对而言
相应
相当
相等
省得
看出
看到
看来
看看
看见
真是
真正
着
着呢
矣
知道
确定
离
积极
移动
突出
突然
立即
第
等
等等
管
紧接着
纵
纵令
纵使
纵然
练习
组成
经
经常
经过
结合
结果
给
绝对
继续
继而
维持
综上所述
罢了
考虑
者
而
而且
而况
而外
而已
而是
而言
联系
能
能否
能够
腾
自
自个儿
自从
自各儿
自家
自己
自身
至
至于
良好
若
若是
若非
范围
莫若
获得
虽
虽则
虽然
虽说
行为
行动
表明
表示
被
要
要不
要不是
要不然
要么
要是
要求
规定
觉得
认为
认真
认识
让
许多
论
设使
设若
该
说明
诸位
谁
谁知
赶
起
起来
起见
趁
趁着
越是
跟
转动
转变
转贴
较
较之
边
达到
迅速
过
过去
过来
运用
还是
还有
这
这个
这么
这么些
这么样
这么点儿
这些
这会儿
这儿
这就是说
这时
这样
这点
这种
这边
这里
这麽
进入
进步
进而
进行
连
连同
适应
适当
适用
逐步
逐渐
通常
通过
造成
遇到
遭到
避免
那
那个
那么
那么些
那么样
那些
那会儿
那儿
那时
那样
那边
那里
那麽
部分
鄙人
采取
里面
重大
重新
重要
鉴于
问题
防止
阿
附近
限制
除
除了
除此之外
除非
随
随着
随著
集中
需要
非但
非常
非徒
靠
顺
顺着
首先
高兴
是不是
说说
以上是关于文本预处理与停用词的主要内容，如果未能解决你的问题，请参考以下文章