Python+url2爬虫技术

Posted 2021-04-30 Unity小站

这回就编写一个小爬虫，知乎好像封闭查询了，那么我们换一个比较好爬取，而且不容易变动的网站，emmmm，起点网怎么样？爬取许多小说名字吧。

爬取分为，嗯，三个步骤大概，首先是用python的url库搭接网络连接部分，能够自动打开许多网页和下载它的html，这个很简单，都是模板不用费脑子，然后是分析目标网站的html，观察对应的要爬取的内容是怎么被包围在这些标签中的，然后是用python的正则表达式构建字段，从整个html里进行匹配，匹配成功了就输出，整个过程大致就是这样，关键是如何打开这些网址，以及如何匹配正确，就是这样。

在匹配之前，最好就是先用一个网页试着匹配一下，实验性的，不然匹配错了，输出一大堆错误的东西，也会降低效率

这回用的是scrape爬虫框架

这里有一点是，urllib2现在与urllib合并了。。。然后如果你要用urllib2的话，它就是urllib里的request，所以你单独倒一条：

Import urllib.request as urllib2

这样就可以愉快的玩耍啦！

然后可以这么写几句话看一下：

import urllib

import urllib.request as urllib2

import urllib3

 

response = urllib2.urlopen("http://www.baidu.com")

print(response.read())

就两句话，但是能传出来一大堆东西。

其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。比如上面的两行代码，我们可以这么改写：

request = urllib2.Request("http://www.baidu.com")

response = urllib2.urlopen(request)

print(response.read())

效果是一样的，但是会更加灵活，我们可以在构建request的时候填进许多内容，达到完全掌控网页的目的，因为现在的网页大多数都是动态的，因此我们往往会构建出非常复杂的request

值得注意的是，在python2与python3中的urlencode的方法并不是在同一个地方。Python2中提供了urllib和urllib2两个模块，urlencode是在urllib下的，而在python3中只提供urllib和urllib3两个库，其中urllib包括了绝大多数功能，而urllib3只是作为一个拓展模块使用的。

然后，执行一下，报错了：

TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.

为什么会出现这种错误呢？上网一查，原来是python2与python3的版本问题导致的，现在网上大多还是python2的教程，所以用python3就会举步维艰，解决方法是在urlencode后面加上.encode(encoding=’UTF8’)//就是这样

解决这个问题，然后又报错了，什么问题呢：

raise HTTPError(req.full_url, code, msg, hdrs, fp)

urllib.error.HTTPError: HTTP Error 405:

这个问题看起来是网络的问题，又在网上查了一下，405是这个东西：

405 - 用来访问本页面的 HTTP 谓词不被允许（方法不被允许）

什么意思呢，就是有些网页在被访问的时候，服务器要求需要知道是什么操作系统，什么浏览器，甚至什么硬件信息，如果没有，它就会返回405错误，而这恰是爬虫所缺少的，怎么办呢？我们可以对其进行伪装：

values = {"username":"[e-mail]","password":"XXXXXXXX",'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}

 

然后不出意料的是，又报错了， MMP，这回的错误的是：

AttributeError: 'bytes' object has no attribute 'items'

这是因为，python3中，编码的时候区分了字符串和二进制，把encode改成decode就可以了