爬取剑来

Posted xiaoxz

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬取剑来相关的知识,希望对你有一定的参考价值。

剑来爬取

一,先下载requests库

二,找到自己感兴趣的网站,我这里在纵横找到了剑来小说的网页和地址

三,结果

 

 

 技术图片

 

 四,代码

import requests
m = "http://dushu.baidu.com/pc/reader?gid=4305547728&cid=10364019"
r = requests.get(m)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:2000])

五,问题

无法爬出详细的网页内容

 

以上是关于爬取剑来的主要内容,如果未能解决你的问题,请参考以下文章

关于如何使用python进行多处理来爬取网站页面的问题

用Beautifulsoup 来爬取贴吧图片

使用 Scrapy 框架来爬取数据

通过python的urllib.request库来爬取一只猫

scrapy框架来爬取壁纸网站并将图片下载到本地文件中

如何通过python调用新浪微博的API来爬取数据