爬虫基础

Posted 2021-01-08 xujinjin18

一．爬虫

1．概念：通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

2．哪些语言可以实现爬虫：

（1）php：对多线程和多进程支持的不好

（2）Java：代码臃肿，重构成本较大

（3）C/c++：是一个非常不明智的选择，是一个很好装13的选择

（4）Python：没有！！！代码优雅，学习成本低，具有非常多的模块。具有框架的支持。Scrapy

3．分类(使用场景)：

（1）通用爬虫：是搜索引擎中“抓取系统”的重要组成部分。（爬取的是整张页面）

①搜索引擎如何抓取互联网的网页？

　　　　1）门户主动将自己的url提交给搜索引擎公司

　　　　2）搜索引擎公司会和DNS服务商进行合作

　　　　3）挂靠知名网站的友情链接

（2）聚焦爬虫：根据指定的需求去网上爬去指定的内容。

4．robots.txt协议：指定的是门户中哪些数据可以供爬虫程序进行爬取和非爬取。

5．反爬虫：门户网站可以通过某些技术手段或者策略阻止爬虫程序对其数据的爬取

6．反反爬虫：爬虫程序通过某些技术手段或者策略破解门户网站的反扒策略

 

二．http和https

1．http：HTTP协议就是服务器（Server）和客户端（Client）之间进行数据交互（相互传输数据）的一种形式。我们可以将Server和Client进行拟人化，那么该协议就是Server和Client这两兄弟间指定的一种交互沟通方式

2．Request：

常见的请求头：

　　　　　　　　accept:浏览器通过这个头告诉服务器，它所支持的数据类型

　　　　　　　　Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集
　　　　　　　　Accept-Encoding：浏览器通过这个头告诉服务器，支持的压缩格式
　　　　　　　　Accept-Language：浏览器通过这个头告诉服务器，它的语言环境
　　　　　　　　Host：浏览器通过这个头告诉服务器，想访问哪台主机
　　　　　　　　If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间
　　　　　　　　Referer：浏览器通过这个头告诉服务器，客户机是哪个页面来的 防盗链
　　　　　　　　Connection：浏览器通过这个头告诉服务器，请求完后是断开链接还是何持链接
　　　　　　　　X-Requested-With: XMLHttpRequest 代表通过ajax方式进行访问

　　　　　　　　User-Agent：请求载体的身份标识

 

3．Response：

 

　　　　　　　　　　　　Location: 服务器通过这个头，来告诉浏览器跳到哪里
　　　　　　　　　　　　Server：服务器通过这个头，告诉浏览器服务器的型号
　　　　　　　　　　　　Content-Encoding：服务器通过这个头，告诉浏览器，数据的压缩格式
　　　　　　　　　　　　Content-Length: 服务器通过这个头，告诉浏览器回送数据的长度
　　　　　　　　　　　　Content-Language: 服务器通过这个头，告诉浏览器语言环境
　　　　　　　　　　　　Content-Type：服务器通过这个头，告诉浏览器回送数据的类型
　　　　　　　　　　　　Refresh：服务器通过这个头，告诉浏览器定时刷新
　　　　　　　　　　　　Content-Disposition: 服务器通过这个头，告诉浏览器以下载方式打数据
　　　　　　　　　　　　Transfer-Encoding：服务器通过这个头，告诉浏览器数据是以分块方式回送的
　　　　　　　　　　　　Expires: -1 控制浏览器不要缓存
　　　　　　　　　　　　Cache-Control: no-cache 

https：安全超文本传输协议，HTTPS是在HTTP上建立SSL加密层，并对传输数据进行加密，是HTTP协议的安全版。

SSL三种加密方式：

 

 

 

3.1 SSL加密技术 对称秘钥加密：

 

　　　　　　　　SSL采用的加密技术叫做“共享密钥加密”，也叫作“对称密钥加密”，这种加密方法是这样的，比如客户端向服务器发送一条信息，首先客户端会采用已知的算法对信息进行加密，比如MD5或者Base64加密，接收端对加密的信息进行解密的时候需要用到密钥，中间会传递密钥，（加密和解密的密钥是同一个），密钥在传输中间是被加密的。这种方式看起来安全，但是仍有潜在的危险，一旦被窃听，或者信息被挟持，就有可能破解密钥，而破解其中的信息。因此“共享密钥加密”这种方式存在安全隐患：

 

 

 

 

 

 

　3.2 非对称秘钥加密技术  非对称秘钥加密：

 

 　　　　　　　　“非对称加密”使用的时候有两把锁，一把叫做“私有密钥”，一把是“公开密钥”，使用非对象加密的加密方式的时候，服务器首先告诉客户端按照自己给定的公开密钥进行加密处理，客户端按照公开密钥加密以后，服务器接受到信息再通过自己的私有密钥进行解密，这样做的好处就是解密的钥匙根本就不会进行传输，因此也就避免了被挟持的风险。就算公开密钥被窃听者拿到了，它也很难进行解密，因为解密过程是对离散对数求值，这可不是轻而易举就能做到的事。以下是非对称加密的原理图：

 

 

但是非对称秘钥加密技术也存在如下缺点：

 

　　　　　　　　第一个是：如何保证接收端向发送端发出公开秘钥的时候，发送端确保收到的是预先要发送的，而不会被挟持。只要是发送密钥，就有可能有被挟持的风险。

 

　　　　　　　　第二个是：非对称加密的方式效率比较低，它处理起来更为复杂，通信过程中使用就有一定的效率问题而影响通信速度

 

 

 

 

 3.3 数字证书秘钥加密：

证书的具体传播过程如下：

 

 

 

　　　　2：服务器将这份数字证书发送给客户端，因为客户端也认可证书机构，客户端可以通过数字证书中的数字签名来验证公钥的真伪，来确保服务器传过来的公开密钥是真实的。一般情况下，证书的数字签名是很难被伪造的，这取决于认证机构的公信力。一旦确认信息无误之后，客户端就会通过公钥对报文进行加密发送，服务器接收到以后用自己的私钥进行解密。