python 爬虫--糗事百科段子

Posted 沧海一粒水

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 爬虫--糗事百科段子相关的知识,希望对你有一定的参考价值。

import re
import urllib.request
from docx import Document

header=("User-Agent",‘User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36‘)
opn=urllib.request.build_opener()
opn.addheaders=[header]

document = Document()
document.add_heading(‘糗事百科‘,1)

for i in range(0,12):
data = opn.open(‘https://www.qiushibaike.com/8hr/page/‘+str(i+1)+‘/‘).read().decode()
pat=‘<div class="content">.*?<span>(.*?)</span>.*?</div>‘

rst=re.compile(pat,re.S).findall(data)

for d in rst:
try:
document.add_paragraph(d)
document.add_paragraph(‘- - ‘ * 10)
except ValueError as err:
pass
document.save("D:\\data\\糗事百科段子1.docx")























以上是关于python 爬虫--糗事百科段子的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫爬取糗事百科段子内容

Python 爬虫系列:糗事百科最热段子

python简单爬虫-----爬糗事百科段子

利用python爬取糗事百科的用户及段子

芝麻HTTP:Python爬虫实战之爬取糗事百科段子

Python爬虫编程思想(38):项目实战:抓取糗事百科网的段子