20个Python奇技淫巧，终极干货，建议收藏！

Posted 学Python的阿杜

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了20个Python奇技淫巧，终极干货，建议收藏！相关的知识，希望对你有一定的参考价值。

1、易混淆操作

本节对一些 Python 易混淆的操作进行对比。

1.1 有放回随机采样和无放回随机采样

import random  
random.choices(seq, k=1)  # 长度为k的list，有放回采样  
random.sample(seq, k)     # 长度为k的list，无放回采样

1.2 lambda 函数的参数

func = lambda y: x + y          # x的值在函数运行时被绑定  
func = lambda y, x=x: x + y     # x的值在函数定义时被绑定

1.3 copy 和 deepcopy

import copy  
y = copy.copy(x)      # 只复制最顶层  
y = copy.deepcopy(x)  # 复制所有嵌套部分

复制和变量别名结合在一起时，容易混淆：

a = [1, 2, [3, 4]]  
  
# Alias.  
b_alias = a    
assert b_alias == a and b_alias is a  
  
# Shallow copy.  
b_shallow_copy = a[:]    
assert b_shallow_copy == a and b_shallow_copy is not a and b_shallow_copy[2] is a[2]  
  
# Deep copy.  
import copy  
b_deep_copy = copy.deepcopy(a)    
assert b_deep_copy == a and b_deep_copy is not a and b_deep_copy[2] is not a[2]

对别名的修改会影响原变量，（浅）复制中的元素是原列表中元素的别名，而深层复制是递归的进行复制，对深层复制的修改不影响原变量。

2、常用工具

2.1 读写 CSV 文件

import csv  
# 无header的读写  
with open(name, 'rt', encoding='utf-8', newline='') as f:  # newline=''让Python不将换行统一处理  
    for row in csv.reader(f):  
        print(row[0], row[1])  # CSV读到的数据都是str类型  
with open(name, mode='wt') as f:  
    f_csv = csv.writer(f)  
    f_csv.writerow(['symbol', 'change'])  
  
# 有header的读写  
with open(name, mode='rt', newline='') as f:  
    for row in csv.DictReader(f):  
        print(row['symbol'], row['change'])  
with open(name, mode='wt') as f:  
    header = ['symbol', 'change']  
    f_csv = csv.DictWriter(f, header)  
    f_csv.writeheader()  
    f_csv.writerow('symbol': xx, 'change': xx)

注意，当 CSV 文件过大时会报错：_csv.Error: field larger than field limit (131072)，通过修改上限解决

import sys  
csv.field_size_limit(sys.maxsize)

csv 还可以读以 \\t 分割的数据

f = csv.reader(f, delimiter='\\t')

2.2 迭代器工具

itertools 中定义了很多迭代器工具，例如子序列工具：

import itertools  
itertools.islice(iterable, start=None, stop, step=None)  
# islice('ABCDEF', 2, None) -> C, D, E, F  
  
itertools.filterfalse(predicate, iterable)         # 过滤掉predicate为False的元素  
# filterfalse(lambda x: x < 5, [1, 4, 6, 4, 1]) -> 6  
  
itertools.takewhile(predicate, iterable)           # 当predicate为False时停止迭代  
# takewhile(lambda x: x < 5, [1, 4, 6, 4, 1]) -> 1, 4  
  
itertools.dropwhile(predicate, iterable)           # 当predicate为False时开始迭代  
# dropwhile(lambda x: x < 5, [1, 4, 6, 4, 1]) -> 6, 4, 1  
  
itertools.compress(iterable, selectors)            # 根据selectors每个元素是True或False进行选择  
# compress('ABCDEF', [1, 0, 1, 0, 1, 1]) -> A, C, E, F

序列排序：

sorted(iterable, key=None, reverse=False)  
  
itertools.groupby(iterable, key=None)              # 按值分组，iterable需要先被排序  
# groupby(sorted([1, 4, 6, 4, 1])) -> (1, iter1), (4, iter4), (6, iter6)  
  
itertools.permutations(iterable, r=None)           # 排列，返回值是Tuple  
# permutations('ABCD', 2) -> AB, AC, AD, BA, BC, BD, CA, CB, CD, DA, DB, DC  
  
itertools.combinations(iterable, r=None)           # 组合，返回值是Tuple  
itertools.combinations_with_replacement(...)  
# combinations('ABCD', 2) -> AB, AC, AD, BC, BD, CD

多个序列合并：

itertools.chain(*iterables)                        # 多个序列直接拼接  
# chain('ABC', 'DEF') -> A, B, C, D, E, F  
  
import heapq  
heapq.merge(*iterables, key=None, reverse=False)   # 多个序列按顺序拼接  
# merge('ABF', 'CDE') -> A, B, C, D, E, F  
  
zip(*iterables)                                    # 当最短的序列耗尽时停止，结果只能被消耗一次  
itertools.zip_longest(*iterables, fillvalue=None)  # 当最长的序列耗尽时停止，结果只能被消耗一次

2.3 计数器

计数器可以统计一个可迭代对象中每个元素出现的次数。

import collections  
# 创建  
collections.Counter(iterable)  
  
# 频次  
collections.Counter[key]                 # key出现频次  
# 返回n个出现频次最高的元素和其对应出现频次，如果n为None，返回所有元素  
collections.Counter.most_common(n=None)  
  
# 插入/更新  
collections.Counter.update(iterable)  
counter1 + counter2; counter1 - counter2  # counter加减  
  
# 检查两个字符串的组成元素是否相同  
collections.Counter(list1) == collections.Counter(list2)

2.4 带默认值的 Dict

当访问不存在的 Key 时，defaultdict 会将其设置为某个默认值。

import collections  
collections.defaultdict(type)  # 当第一次访问dict[key]时，会无参数调用type，给dict[key]提供一个初始值

2.5 有序 Dict

import collections  
collections.OrderedDict(items=None)  # 迭代时保留原始插入顺序

3、高性能编程和调试

3.1 输出错误和警告信息

向标准错误输出信息

import sys  
sys.stderr.write('')

输出警告信息

import warnings  
warnings.warn(message, category=UserWarning)    
# category的取值有DeprecationWarning, SyntaxWarning, RuntimeWarning, ResourceWarning, FutureWarning

控制警告消息的输出

$ python -W all     # 输出所有警告，等同于设置warnings.simplefilter('always')  
$ python -W ignore  # 忽略所有警告，等同于设置warnings.simplefilter('ignore')  
$ python -W error   # 将所有警告转换为异常，等同于设置warnings.simplefilter('error')

3.2 代码中测试

有时为了调试，我们想在代码中加一些代码，通常是一些 print 语句，可以写为：

# 在代码中的debug部分  
if __debug__:  
    pass

一旦调试结束，通过在命令行执行 -O 选项，会忽略这部分代码：

$ python -0 main.py

3.3 代码风格检查

使用 pylint 可以进行不少的代码风格和语法检查，能在运行之前发现一些错误

pylint main.py

3.4 代码耗时

耗时测试

$ python -m cProfile main.py

测试某代码块耗时

# 代码块耗时定义  
from contextlib import contextmanager  
from time import perf_counter  
  
@contextmanager  
def timeblock(label):  
    tic = perf_counter()  
    try:  
        yield  
    finally:  
        toc = perf_counter()  
        print('%s : %s' % (label, toc - tic))  
  
# 代码块耗时测试  
with timeblock('counting'):  
    pass

代码耗时优化的一些原则

  • 专注于优化产生性能瓶颈的地方，而不是全部代码。

  • 避免使用全局变量。局部变量的查找比全局变量更快，将全局变量的代码定义在函数中运行通常会快 15%-30%。

  • 避免使用.访问属性。使用 from module import name 会更快，将频繁访问的类的成员变量 self.member 放入到一个局部变量中。

  • 尽量使用内置数据结构。str, list, set, dict 等使用 C 实现，运行起来很快。

  • 避免创建没有必要的中间变量，和 copy.deepcopy()。

  • 字符串拼接，例如 a + ‘:’ + b + ‘:’ + c 会创造大量无用的中间变量，‘:’,join([a, b, c]) 效率会高不少。另外需要考虑字符串拼接是否必要，例如 print(‘:’.join([a, b, c])) 效率比 print(a, b, c, sep=‘:’) 低。

最后这里免费分享给大家一套免费的学习资料，包含视频、源码、PDF，希望能帮到那些不满现状，想提升自己却又没有方向的朋友，也可以加我微信一起来学习交流。

① Python所有方向的学习路线图，清楚各个方向要学什么东西

② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析

③ 100多个Python实战案例，学习不再是只会理论

④ 华为出品独家Python漫画教程，手机也能学习

⑤ 历年互联网企业Python面试真题,复习时非常方便

上述这份完整版的Python全套学习资料已经上传CSDN官方，朋友们如果需要可以直接划到文末免费领取【保证100%免费】

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、清华编程大佬出品《漫画看学Python》

用通俗易懂的漫画，来教你学习Python，让你更容易记住，并且不会枯燥乏味。


配套600集视频：

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。


这份完整版的Python全套学习资料已经上传CSDN官方，朋友们如果需要可以点击下方CSDN官方认证微信名片免费领取↓↓↓【保证100%免费】

以上是关于20个Python奇技淫巧，终极干货，建议收藏！的主要内容，如果未能解决你的问题，请参考以下文章

牛！一次实战批量SRC和CNVD的奇技淫巧（全程干货，建议收藏）

熬夜总结了53个Python干货技巧，建议收藏

熬夜总结了53个Python干货技巧，建议收藏

超干货！分享 Python 语言40个奇技淫巧！

学习Python，这29个实用小技巧你如果不知道的话，那亏大了！纯干货，建议收藏

7套干货，Python常用技术学习知识图谱！！（史上最全，建议收藏）