第一只python爬虫

Posted Kurokey

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第一只python爬虫相关的知识,希望对你有一定的参考价值。

import urllib.request
response = urllib.request.urlopen("http://www.baidu.com")
html = response.read()
html = html.decode(\'UTF-8\')
print(html)

其中用 用urllib.request 中的urlopen打开百度(一定要加http,用read方法读取html代码,用 utf—8 解码。

其中,response对象有一个getcode()方法,可以得到HTTP状态码(200为成功

其中baidu能够正常访问,google访问超时,其中传入的三个参数:URL,向服务器发送的数据(没有为None,也可缺省),超时时间

返回的异常最后一句,timed out

 

以上是关于第一只python爬虫的主要内容,如果未能解决你的问题,请参考以下文章

scrapy按顺序启动多个爬虫代码片段(python3)

通俗易懂的分析如何用Python实现一只小爬虫,爬取拉勾网的职位信息

scrapy主动退出爬虫的代码片段(python3)

爬虫入门01我第一只由Reuests和BeautifulSoup4供养的Spider

一只初学者级别的京东商城商品爬虫(爬取索尼微单的参数信息)

python 爬虫