Python简单网页爬虫

Posted 2020-09-19

由于Python2.x与Python3.x存在很的差异，Python2.x调用urllib用指令urllib.urlopen（），

运行时报错：AttributeError: module ‘urllib‘ has no attribute ‘urlopen‘

原因是在Python3.X中应该用urllib.request。

下载网页成功后，调用webbrowsser模块，输入指令webbrowsser

.open_new_tab(‘baidu.com.html‘)

true

open(‘baidu.com.html‘，‘w’)。write（html）

将下载的网页写入指定的目录下，然而下载的网页占0KB，打开显示空白，然后将上代码改为

open(‘baidu.com.html‘，‘wb’)。write（html）

就可以打开了

import urllib
>>> import urllib.request
>>> def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html

>>> import webbrowser
>>> webbrowser.open_new_tab(‘baidu.com.html‘)
True
>>> open(‘baidu.com.html‘,‘wb‘).write(html)