python 爬百度贴吧

Posted 名狐1993

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 爬百度贴吧相关的知识,希望对你有一定的参考价值。

import urllib.request
import urllib.parse
url="https://tieba.baidu.com/f"
word=input("请输入要爬的贴吧")
#将贴吧名称变成url码
word=urllib.parse.quote(word)
#完整输入贴吧链接
newUrl=url+"?ie=utf-8&kw="+word
print(newUrl)
ua_headers= {"User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}

#对网站提出请求
req=urllib.request.Request(newUrl,headers=ua_headers)
#获取网站数据
req1=urllib.request.urlopen(req)
#读取数据,一定要加上编码格式
html=req1.read().decode("utf-8")
print(html)

以上是关于python 爬百度贴吧的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫爬取百度贴吧的帖子

Python爬虫爬取百度贴吧的图片

Python爬虫实例爬取百度贴吧帖子中的图片

Python爬虫实战之如何爬取百度贴吧帖子?案例详解

Python爬虫实战之如何爬取百度贴吧帖子?案例详解

python爬贴吧修改版本