python 爬虫--糗事百科段子
Posted 沧海一粒水
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 爬虫--糗事百科段子相关的知识,希望对你有一定的参考价值。
import re
import urllib.request
from docx import Document
header=("User-Agent",‘User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36‘)
opn=urllib.request.build_opener()
opn.addheaders=[header]
document = Document()
document.add_heading(‘糗事百科‘,1)
for i in range(0,12):
data = opn.open(‘https://www.qiushibaike.com/8hr/page/‘+str(i+1)+‘/‘).read().decode()
pat=‘<div class="content">.*?<span>(.*?)</span>.*?</div>‘
rst=re.compile(pat,re.S).findall(data)
for d in rst:
try:
document.add_paragraph(d)
document.add_paragraph(‘- - ‘ * 10)
except ValueError as err:
pass
document.save("D:\\data\\糗事百科段子1.docx")
以上是关于python 爬虫--糗事百科段子的主要内容,如果未能解决你的问题,请参考以下文章