python爬虫学习研究

Posted 2020-09-21

2017年6月4日21:08:34

1.dict的作用是建立一组 key 和一组 value 的映射关系，dict的key是不能重复的。
2.set 持有一系列元素，这一点和 list 很像，但是set的元素没有重复，而且是无序的，这点和 dict 的 key很像。
3.因为set不能包含重复的元素，所以，当我们传入包含重复元素的 list 会怎么样呢？会去掉重复的元素。set其实就是数学中的集合。
4.由于set存储的是无序集合，所以我们没法通过索引来访问。
5.访问 set中的某个元素实际上就是判断一个元素是否在set中。
6.set的内部结构和dict很像，唯一区别是不存储value，因此，判断一个元素是否在set中速度很快。
set存储的元素和dict的key类似，必须是不变对象，因此，任何可变对象是不能放入set中的。
set存储的元素也是没有顺序的。
7.由于 set 也是一个集合，所以，遍历 set 和遍历 list 类似，都可以通过 for 循环实现。
8.由于set存储的是一组不重复的无序元素，因此，更新set主要做两件事：
一是把新的元素添加到set中，二是把已有元素从set中删除。
添加元素时，用set的add()方法：
9.删除set中的元素时，用set的remove()方法：
-----------------分割线--------------------
第7章 函数
7-1 Python之什么是函数
7-2 Python之调用函数
7-3 Python之编写函数
7-4 Python函数之返回多值
7-5 Python之递归函数
7-6 Python之定义默认参数
7-7 Python之定义可变参数
笔记：
1.函数就是最基本的一种代码抽象的方式。
2.抽象是数学中非常常见的概念。
3.要调用一个函数，需要知道函数的名称和参数，比如求绝对值的函数 abs，它接收一个参数。
4.比较函数 cmp(x, y) 就需要两个参数，如果 x<y，返回 -1，如果 x==y，返回 0，如果 x>y，返回 1：
5.Python内置的常用函数还包括数据类型转换函数，比如 int()函数可以把其他数据类型转换为整数：
6.str()函数把其他类型转换成 str：
7.在Python中，定义一个函数要使用 def 语句，依次写出函数名、括号、括号中的参数和冒号:，然后，在缩进块中编写函数体，函数的返回值用 return 语句返回。
8.函数体内部的语句在执行时，一旦执行到return时，函数就执行完毕，并将结果返回。因此，函数内部通过条件判断和循环可以实现非常复杂的逻辑。
9.for 循环可以取出list中每个元素。
10.Python的函数返回多值其实就是返回一个tuple
1.在函数内部，可以调用其他函数。如果一个函数在内部调用自身本身，这个函数就是递归函数。
2.递归函数的优点是定义简单，逻辑清晰。理论上，所有的递归函数都可以写成循环的方式，但循环的逻辑不如递归清晰。
3.使用递归函数需要注意防止栈溢出。在计算机中，函数调用是通过栈（stack）这种数据结构实现的，每当进入一个函数调用，栈就会加一层栈帧，每当函数返回，栈就会减一层栈帧。
由于栈的大小不是无限的，所以，递归调用的次数过多，会导致栈溢出。可以试试计算 fact(10000)。
4.int()函数的第二个参数是转换进制，如果不传，默认是十进制 (base=10)，如果传了，就用传入的参数。
5.Python之定义默认参数，就是给参数一个默认的值。直接用就行。
6.如果想让一个函数能接受任意个参数，我们就可以定义一个可变参数：
7.可变参数的名字前面有个 * 号，我们可以传入0个、1个或多个参数给可变参数：
------------------------分割线--------------------------
第8章 切片
8-1 对list进行切片
8-2 倒序切片
8-3 对字符串切片
笔记：
1.L[0:3]表示，从索引0开始取，直到索引3为止，但不包括索引3。即索引0，1，2，正好是3个元素。
2.L[:]实际上复制出了一个新list。
3.切片操作还可以指定第三个参数：
L[::2]
[‘Adam‘, ‘Bart‘]
第三个参数表示每N个取一个，上面的 L[::2] 会每两个元素取出一个来，也就是隔一个取一个。
把list换成tuple，切片操作完全相同，只是切片的结果也变成了tuple。
4.对于list，既然Python支持L[-1]取倒数第一个元素，那么它同样支持倒数切片
5.在很多编程语言中，针对字符串提供了很多各种截取函数，其实目的就是对字符串切片。Python没有针对字符串的截取函数，只需要切片一个操作就可以完成，非常简单。
-------------------分割线-------------------------------------
第9章 迭代
9-1 什么是迭代
9-2 索引迭代
9-3 迭代dict的value
9-4 迭代dict的key和value
笔记：
1.在Python中，如果给定一个list或tuple，我们可以通过for循环来遍历这个list或tuple，这种遍历我们成为迭代（Iteration）。
2.迭代操作就是对于一个集合，无论该集合是有序还是无序，我们用 for 循环总是可以依次取出集合的每一个元素。
3.集合是指包含一组元素的数据结构，我们已经介绍的包括：
1. 有序集合：list，tuple，str和unicode；
2. 无序集合：set
3. 无序集合并且具有 key-value 对：dict
4.迭代是一个动词，它指的是一种操作，在Python中，就是 for 循环。
5.Python中，迭代永远是取出元素本身，而非元素的索引。
6.对于有序集合，元素确实是有索引的。有的时候，我们确实想在 for 循环中拿到索引，怎么办？
方法是使用 enumerate() 函数：
7.使用 enumerate() 函数，我们可以在for循环中同时绑定索引index和元素name。但是，这不是 enumerate() 的特殊语法。实际上，enumerate() 函数把：

[‘Adam‘, ‘Lisa‘, ‘Bart‘, ‘Paul‘]
变成了类似：

[(0, ‘Adam‘), (1, ‘Lisa‘), (2, ‘Bart‘), (3, ‘Paul‘)]
因此，迭代的每一个元素实际上是一个tuple：
8.可见，索引迭代也不是真的按索引访问，而是由 enumerate() 函数自动把每个元素变成 (index, element) 这样的tuple，再迭代，就同时获得了索引和元素本身。
9.dict对象本身就是可迭代对象，用 for 循环直接迭代 dict，可以每次拿到dict的一个key。
10.如果我们希望迭代 dict 对象的value，应该怎么做？
dict 对象有一个 values() 方法，这个方法把dict转换成一个包含所有value的list，这样，我们迭代的就是 dict的每一个 value：
1.那这两个方法有何不同之处呢？
1. values() 方法实际上把一个 dict 转换成了包含 value 的list。
2. 但是 itervalues() 方法不会转换，它会在迭代过程中依次从 dict 中取出 value，所以 itervalues() 方法比 values() 方法节省了生成 list 所需的内存。
3. 打印 itervalues() 发现它返回一个 <dictionary-valueiterator> 对象，这说明在Python中，for 循环可作用的迭代对象远不止 list，tuple，str，unicode，dict等，任何可迭代对象都可以作用于for循环，而内部如何迭代我们通常并不用关心。
如果一个对象说自己可迭代，那我们就直接用 for 循环去迭代它，可见，迭代是一种抽象的数据操作，它不对迭代对象内部的数据有任何要求。
4.迭代dict的key和value
我们了解了如何迭代 dict 的key和value，那么，在一个 for 循环中，能否同时迭代 key和value？答案是肯定的。
可以看到，items() 方法把dict对象转换成了包含tuple的list，我们对这个list进行迭代，可以同时获得key和value：

>>> for key, value in d.items():
... print key, ‘:‘, value
...
Lisa : 85
Adam : 95
Bart : 59
和 values() 有一个 itervalues() 类似， items() 也有一个对应的 iteritems()，iteritems() 不把dict转换成list，而是在迭代过程中不断给出 tuple，所以， iteritems() 不占用额外的内存。
-------------------分割线--------------------
第10章 列表生成式
10-1 生成列表
10-2 复杂表达式
10-3 条件过滤
10-4 多层表达式
笔记：
1.复杂表达式：就是使用for循环的迭代不仅可以迭代普通的list，还可以迭代dict。
2.列表生成式的 for 循环后面还可以加上 if 判断。
------------------------分割线----------------------------已经学完基本教程