读取网页的方法-爬虫学习

Posted 2021-01-11 klmyoil

 

1、读取全部网页

1 #encoding:utf-8
2 
3 import urllib2
4 def download1(url):
5     return urllib2.urlopen(url).read() #读取全部网页
6 
7 url="http://www.baidu.com" #urlopen只能处理http 不能处理https
8 print download3(url)

 

2、读取每一行的数据，压入列表

1 #encoding:utf-8
2 
3 import urllib2
4 
5 def download2(url):
6     return urllib2.urlopen(url).readlines() #读取每一行的数据，压入列表
7 
8 url="http://www.baidu.com" #urlopen只能处理http 不能处理https
9 print download2(url)

 

3、网页抽象为文件

 1 #encoding:utf-8
 2 import urllib2
 3 
 4 def download3(url):
 5     response=urllib2.urlopen(url)#网页抽象为文件
 6     while True:
 7         line=response.readline()#读取每一行
 8         if not line:
 9             break
10         print line
11 
12 url="http://www.baidu.com" #urlopen只能处理http 不能处理https
13 print download3(url)