爬虫基础入门

Posted 2020-11-08 ulrica

• 1 URL含义
  URL的格式由三部分组成：
  ①第一部分是协议(或称为服务方式)。
  ②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
  ③第三部分是主机资源的具体地址，如目录和文件名等。

• 2 分析扒网页的方法

    response = urllib2.urlopen("http://www.baidu.com")

  首先调用的是urllib2库里面的urlopen方法，传入一个URL，这个网址是百度首页，协议是HTTP协议，当然你也可以把HTTP换做FTP,FILE,HTTPS 等等，只是代表了一种访问控制协议，urlopen一般接受三个参数，它的参数如下：

   urlopen(url, data, timeout)

  第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
  第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
  第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。

  print response.read()

  response对象有一个read方法，可以返回获取到的网页内容。记得一定要加read方法，否则它不出来内容咯！

• 3 构造Requset

  import urllib2
  request = urllib2.Request("http://www.baidu.com")
  response = urllib2.urlopen(request)
  print response.read()

• 4 POST和GET数据传送

---

Urllib库的高级用法

• 1 设置Headers
• 2 Proxy（代理）的设置
• 3 Timeout 设置
• 4 使用 HTTP 的 PUT 和 DELETE 方法
  http协议有六种请求方法，get,head,put,delete,post,options

• 5 使用DebugLog

  来自

  Python爬虫入门四之Urllib库的高级用法