水木社区爬虫项目介绍

Posted 2021-01-23 gaoyb348

1、 爬虫

1、 用urllib.request库请求一个url的内容。
2、 用 beautifulsoup解析request库请求得到的内容。
3、 在网页上右键-检查，阅读html代码，归纳出想爬到信息属于html树形结构的哪一部分。
4、 用beautifulsoup的next_element.next_sibling等方法定位到想要的文本。
5、 把beatuifulsoup对象中想要的部分写入文件中。

2、 分词

1、 把文件按时间手动切分成几个。
2、 用正则表达式过滤出中文。
3、 用jieba分词。
4、 记录词频。
5、 用停用词表去除停用词。
6、选出top100.