doraemon的python 爬虫 http和https的区别

Posted 2020-11-26 番茄炒蛋548542

1.http和https

• http:

  • 概念:clinet和Server进行数据交互的某种形式

• 常用的头信息:

  • User-Agent:请求载体的身份标识

  • Connection:close

  • content-type:

• https:

  • 概念:安全的http协议

  • 证书

    • 对称秘钥加密

      • 在本地用公钥进行加密，然后将数据和私钥发送给服务端

    • 非对称秘钥加密

      • 由服务端提供公钥，客户端进行加密后在传送给服务端

    • 证书秘钥加密方式

      • 服务端将公钥发送给证书机构，然后给公钥打标记，在发送给客户端

爬虫相关概述

• 爬虫概念:

  • 通过编写程序模拟浏览器上网,然后让其去互联网上爬取/抓取数据的过程

    • 模拟:浏览器就是一款纯天然的原始的爬虫工具

• 爬虫分类:

  • 通用爬虫:爬取一整张页面中的数据. 抓取系统(爬虫程序)

  • 聚焦爬虫:爬取页面中局部的数据.一定是建立在通用爬虫的基础之上

  • 增量式爬虫:用来监测网站数据更新的情况.以便爬取到网站最新更新出来的数据

• 风险分析

  • 合理的的使用

  • 爬虫风险的体现:

    • 爬虫干扰了被访问网站的正常运营；

    • 爬虫抓取了受到法律保护的特定类型的数据或信息。

  • 避免风险:

    • 严格遵守网站设置的robots协议；

    • 在规避反爬虫措施的同时，需要优化自己的代码，避免干扰被访问网站的正常运行；

    • 在使用、传播抓取到的信息时，应审查所抓取的内容，如发现属于用户的个人信息、隐私或者他人的商业秘密的，应及时停止并删除。

• 反爬机制

• 反反爬策略

• robots.txt协议:文本协议,在文本中指定了可爬和不可爬的数据说明.