爬虫2

Posted 2021-01-15 helloqaz

1、构建请求对象

headers = { 这里面写需要定制的请求头，想定制哪个定制哪个 } request = urllib.request.Request(url=url, headers=headers) response = urllib.request.urlopen(request)

2、模拟各种请求方式

get post ajax-post ajax-get https://fe-api.zhaopin.com/c/i/sou?start=60&pageSize=60&cityId=538&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=python&kt=3 第一页：start=0 pagesize=60 第二页：start=60 pagesize=60 第三页：start=120 pagesize=60 第n页：start=(n-1)*60 pagesize=60

3、百度贴吧

https://tieba.baidu.com/f?kw=%E6%9D%8E%E6%AF%85&ie=utf-8&pn=200 1 pn=0 2 pn=50 n pn=(n-1) * 50 需求：输入要爬取的吧名，输入要爬取的起始页码、结束页码，对应的页码内容全部拿下来，保存到 吧名_第n页.html 文件中，这个文件保存到 吧名 文件夹中

4、URLErrorHTTPError

都是类，在urllib.error这个模块中，异常处理 try-except 健壮 URLError 断网了、主机不存在 HTTPError 404错误，页面找不到 是URLError的子类

 

5、Handler处理器、自定义Opener 干什么用呢？

urlopen(url) 请求对象 代理、cookie 熟悉handler、opener使用步骤

 

6、代理

生活中的代理：代练、代驾、代孕、代购 电脑中的代理：见代理小弟图 代理服务器在哪呢？ 西刺代理、快代理、阿布云代理 浏览器使用代理 通过软件一键设置 三个点==》设置==》高级==》打开代理设置==》局域网设置==》为LAN设置代理==》ip和端口写进去 代码中使用代理