Python爬虫(学习准备)

Posted 大四毕业前来个offer

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫(学习准备)相关的知识,希望对你有一定的参考价值。

 

编码格式的认识:

  1. 字符:各种文字和符号的统称
  2. 字符集:多个字符的集合
  3. 字符集包括:ASCII字符集,GB2312字符集,GB18030,Unicode字符集等
  4. 1个字符ASCII编码占1个字节,用Unicode编码占2个字节
  5. UTF-8是Unicode的实习方式之一,是一种变长的编码方式,可以是1,2,3个字节等

 

在Python中字符串分为两种类型:

  • bytes:二进制,互联网上数据都是以二进制传输
  • str:unicode的呈现方式

 

str与bytes的转换:

encode()  #str->bytes

decode()  #bytes->str

a = \'华南理工大学广州学院\'
print(type(a))  #<class \'str\'>
b = a.encode()  #参数不填默认utf-8编码
print(b)  
print(type(b))  #<class \'bytes\'>
a = b.decode(\'utf-8\')
print(a)  #华南理工大学广州学院

 

cookie和session区别:

  • cookie数据存放在客户的浏览器上,session数据放在服务器上。
  • cookie不是很安全,别人可以分析存放在本地的cookie并进行cookie欺骗
  • session会在一定时间内保存在服务器。当访问增多,会比较占服务器性能
  • 单个cookie保存的数据不能超过4k,很多浏览器都限制一个站点最多保存20个cookie

 

Http和Https:

Http

  • 超文本传输协议
  • 默认端口号:80

Https

  • Http + ssl(安全套接字层)
  • 默认端口号:443

Https比http更安全,但是性能更低(耗时更长)

 

Url的形式:

 

http请求格式:

 

http常见请求头:

 

常见响应状态码:

  • 200:成功
  • 302:转移至新的url
  • 307:转移至新的url
  • 404:not found
  • 500:服务器内部错误

 

爬虫的分类:

  • 通用爬虫:通常指搜索引擎的爬虫
  • 聚焦爬虫:针对特定网站的爬虫

 

通用爬虫与聚焦爬虫的流程:

 

Robots协议:

网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取

 

浏览器发送Http请求的过程:

 浏览器渲染出来的页面与爬虫请求的页面不一样

 

 

以上是关于Python爬虫(学习准备)的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫(学习准备)

Python爬虫基础知识及前期准备

Python爬虫基础知识及前期准备

python爬虫学习笔记-M3U8流视频数据爬虫

如何入门 Python 爬虫?

Python网络爬虫学习建议,初学者需要哪些准备