cookie的处理和代理池的建立

Posted 2021-02-18 kingofcattle

1.cookie
什么是cookie: cookie是服务端创建的数据(相当于一个身份卡片),用户给服务端发起请求时服务端会给这个用户返回这个卡片，然后保存在本地中，客户端再次访问服务端
 就可以带着这个卡片去访问,服务端就可以根据这个卡片找到用户的数据
 我们一般用cookie作免密码登入
处理cookie的俩个方式：
1.手动处理：将cookie写在headers中
2.用Session对象自动处理：
    （1）什么时Session对象：它能让你跨请求保存某些参数。用这个实例发起的请求，它会请求保存之间的信息（包括cookie）
    （2）怎么使用Session对象：可以跟requests一样调用get/post进行请求的发送。在使用session进行请求发送的过程中，如果产生了cookie，则cookie会被自动存储到session对象中。
    所以最少要是有2次才能在爬虫中实现自动化处理他（第一次获取cookie，第二次使用cookie）
    使用一个案例来实现 ---->https://www.cnblogs.com/KingOfCattle/p/12930789.html

2. 代理服务器的操作
    代理服务器就是用来转发请求和响应。可以让代理服务器转发请求从而更换请求的原始ip地址。
    代理的匿名度：
        透明：对方服务器知道你使用了代理也知道你的真实ip
        匿名：知道你使用了代理，但是不知道你的真是ip
        高匿：不知道你使用了代理，更不知道你的真是ip
    代理的类型
        http：只能代理http协议的请求
        https：代理https协议的请求

     怎么使用代理：
     1. 在http://http.zhiliandaili.cn中购买代理
     2.购买后生成白名单（自己的ip地址）
     3.生成ip地址
     4.然后根据生成的url中获取ip代理

     这里我们使用IP代理的用法--》https://www.cnblogs.com/KingOfCattle/p/12933282.html