爬虫中的关于字符串的一些理解

Posted litao2011

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫中的关于字符串的一些理解相关的知识,希望对你有一定的参考价值。

1.基本概念

字符(Character)是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等

字符集(Character set)是多个字符的集合

字符集包括:ASCII字符集、GB2312字符集、GB18030字符集、Unicode字符集等

ASCII编码是1个字节,而Unicode编码通常是2个字节。

UTF-8是Unicode的实现方式之一,UTF-8是它是一种变长的编码方式,可以是1,2,3个字节

2.Python3中的字符串

Python3中两种字符串类型

 1.str:unicode的呈现形式
 2.bytes: 字节类型,互联网上的数据都是以二进制的方式(字节类型)传输的
使用方法:
 1.str使用encode方法转化为bytes
 2.bytes通过decode转化为str
注意:编码方式与解码方式必须一样,否则就会出现乱码

3.Python2中的字符串

Python2中字符串有两种类型

 1.unicode类型
 2.字节类型

在Python2中,字符串无法完全地支持国际字符集和Unicode编码。为了解决这种限制,Python2对Unicode数据使用了单独的字符串类型。要输入Unicode字符串,要在第一个引号前加上‘u‘。

Python2中普通字符串实际上就是已经编码(非Unicode)的字节字符串

3.1.python2中的字节类型字符串
python2 中定义字符串的时候,会自动将字符串转换为合适编码的字节字符串,比如中文:自动转换为utf-8编码的字节字符串

举个例子:

>>> a = "你好"  #如此定义字符串的时候,其为字节类型
>>> a
‘xc4xe3xbaxc3‘
>>> type(a)
<type ‘str‘>

 上面的这种定义方式和在字符串前面加上b的效果一样

 












以上是关于爬虫中的关于字符串的一些理解的主要内容,如果未能解决你的问题,请参考以下文章

精心收集的 48 个 JavaScript 代码片段,仅需 30 秒就可理解!(转载)

几个关于js数组方法reduce的经典片段

关于一些python爬虫示例代码

Python爬取知乎与我所理解的爬虫与反爬虫

关于poc脚本的一些问题

调用模板化成员函数:帮助我理解另一个 *** 帖子中的代码片段