装饰器:
装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能,装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计,有了装饰器,我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。
怎么写一个装饰器
在早些时候 (Python Version < 2.4,2004年以前),为一个函数添加额外功能的写法是这样的。
1 def debug(func): 2 def wrapper(): 3 print "[DEBUG]: enter {}()".format(func.__name__) 4 return func() 5 return wrapper 6 7 def say_hello(): 8 print "hello!" 9 10 say_hello = debug(say_hello) # 添加功能并保持原函数名不变
上面的debug函数其实已经是一个装饰器了,它对原函数做了包装并返回了另外一个函数,额外添加了一些功能。因为这样写实在不太优雅,在后面版本的Python中支持了@语法糖,下面代码等同于早期的写法。
1 def debug(func): 2 def wrapper(): 3 print "[DEBUG]: enter {}()".format(func.__name__) 4 return func() 5 return wrapper 6 7 @debug 8 def say_hello(): 9 print "hello!"
这是最简单的装饰器,但是有一个问题,如果被装饰的函数需要传入参数,那么这个装饰器就坏了。因为返回的函数并不能接受参数,你可以指定装饰器函数wrapper
接受和原函数一样的参数,比如:
1 def debug(func): 2 def wrapper(something): # 指定一毛一样的参数
3 print "[DEBUG]: enter {}()".format(func.__name__)
4 return func(something)
5 return wrapper # 返回包装过函数
6
7 @debug
8 def say(something):
9 print "hello {}!".format(something)
这样你就解决了一个问题,但又多了N个问题。因为函数有千千万,你只管你自己的函数,别人的函数参数是什么样子,鬼知道?还好Python提供了可变参数*args
和关键字参数**kwargs
,有了这两个参数,装饰器就可以用于任意目标函数了。
def debug(func): def wrapper(*args, **kwargs): # 指定宇宙无敌参数 wrapper(*args, **kwargs)中的参数在此处无用,只是用来让fun(*args, **kwargs)接收参数
print "[DEBUG]: enter {}()".format(func.__name__)
print ‘Prepare and say...‘,
return func(*args, **kwargs)
return wrapper # 返回
@debug
def say(something):
print "hello {}!".format(something)
至此,你已完全掌握初级的装饰器写法。
高级一点的装饰器
带参数的装饰器和类装饰器属于进阶的内容。
带参数的装饰器
假设我们前文的装饰器需要完成的功能不仅仅是能在进入某个函数后打出log信息,而且还需指定log的级别,那么装饰器就会是这样的。
def logging(level): def wrapper(func): def inner_wrapper(*args, **kwargs): print "[{level}]: enter function {func}()".format( level=level, func=func.__name__) return func(*args, **kwargs) return inner_wrapper return wrapper @logging(level=‘INFO‘) def say(something): print "say {}!".format(something) # 如果没有使用@语法,等同于 # say = logging(level=‘INFO‘)(say) @logging(level=‘DEBUG‘) def do(something): print "do {}...".format(something) if __name__ == ‘__main__‘: say(‘hello‘) do("my work")
可以这么理解,当带参数的装饰器被打在某个函数上时,比如@logging(level=‘DEBUG‘)
,它其实是一个函数,会马上被执行,只要这个它返回的结果是一个装饰器时,那就没问题。
生成器
生成器不会把结果保存在一个系列中,而是保存生成器的状态,在每次进行迭代时返回一个值,直到遇到StopIteration异常结束。
生成器语法
生成器表达式: 通列表解析语法,只不过把列表解析的[]换成()
生成器表达式能做的事情列表解析基本都能处理,只不过在需要处理的序列比较大时,列表解析比较费内存。
gen = (x**2 for x in range(5)) gen <generator object <genexpr> at 0x0000000002FB7B40> for g in gen: print(g, end=‘-‘)
生成器函数: 在函数中如果出现了yield关键字,那么该函数就不再是普通函数,而是生成器函数。
但是生成器函数可以生产一个无线的序列,这样列表根本没有办法进行处理。
yield 的作用就是把一个函数变成一个 generator,带有 yield 的函数不再是一个普通函数,Python 解释器会将其视为一个 generator。
下面为一个可以无穷生产奇数的生成器函数。
def odd(): n=1 while True: yield n n+=2 odd_num = odd() count = 0 for o in odd_num: if count >=5: break print(o) count +=1
生成器是包含有__iter__()和__next__()方法的,所以可以直接使用for来迭代,而没有包含StopIteration的自编Iter来只能通过手动循环来迭代。
在 for 循环执行时,每次循环都会执行 odd 函数内部的代码,执行到 yield b 时,odd 函数就返回一个迭代值,下次迭代时,代码从 yield b 的下一条语句继续执行(n+=2),而函数的本地变量看起来和上次中断执行前是完全一样的,于是函数继续执行,直到再次遇到 yield。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次,每次中断都会通过 yield 返回当前的迭代值。
yield 与 return
在一个生成器中,如果没有return,则默认执行到函数完毕时返回StopIteration;
如果遇到return,如果在执行过程中 return,则直接抛出 StopIteration 终止迭代。
如果在return后返回一个值,那么这个值为StopIteration异常的说明,不是程序的返回值。
生成器没有办法使用return来返回值。
>>> def g3(): ... yield ‘hello‘ ... return ‘world‘ ... >>> g=g3() >>> g.__next__() ‘hello‘ >>> g.__next__() Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration: world
生成器支持的方法
close()
手动关闭生成器函数,后面的调用会直接返回StopIteration异常。
>>> def g4(): ... yield 1 ... yield 2 ... yield 3 ... >>> g=g4() >>> g.__next__() 1 >>> g.close() >>> g.__next__() #关闭后,yield 2和yield 3语句将不再起作用 Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration
send()
生成器函数最大的特点是可以接受外部传入的一个变量,并根据变量内容计算结果后返回。
这是生成器函数最难理解的地方,也是最重要的地方,实现后面我会讲到的协程就全靠它了。
def gen(): value=0 while True: receive=yield value if receive==‘e‘: break value = ‘got: %s‘ % receive g=gen() print(g.send(None)) print(g.send(‘aaa‘)) print(g.send(3)) print(g.send(‘e‘))
执行流程:
- 通过g.send(None)或者next(g)可以启动生成器函数,并执行到第一个yield语句结束的位置。此时,执行完了yield语句,但是没有给receive赋值。yield value会输出初始值0注意:在启动生成器函数时只能send(None),如果试图输入其它的值都会得到错误提示信息。
- 通过g.send(‘aaa’),会传入aaa,并赋值给receive,然后计算出value的值,并回到while头部,执行yield value语句有停止。此时yield value会输出”got: aaa”,然后挂起。
- 通过g.send(3),会重复第2步,最后输出结果为”got: 3″
- 当我们g.send(‘e’)时,程序会执行break然后推出循环,最后整个函数执行完毕,所以会得到StopIteration异常。
最后的执行结果如下:
0 got: aaa got: 3 Traceback (most recent call last): File "h.py", line 14, in <module> print(g.send(‘e‘)) StopIteration
throw()
用来向生成器函数送入一个异常,可以结束系统定义的异常,或者自定义的异常。
throw()后直接跑出异常并结束程序,或者消耗掉一个yield,或者在没有下一个yield的时候直接进行到程序的结尾。
def gen(): while True: try: yield ‘normal value‘ yield ‘normal value 2‘ print(‘here‘) except ValueError: print(‘we got ValueError here‘) except TypeError: break g=gen() print(next(g)) print(g.throw(ValueError)) print(next(g)) print(g.throw(TypeError))
输出结果为:
normal value we got ValueError here normal value normal value 2 Traceback (most recent call last): File "h.py", line 15, in <module> print(g.throw(TypeError)) StopIteration
解释:
- print(next(g)):会输出normal value,并停留在yield ‘normal value 2’之前。
- 由于执行了g.throw(ValueError),所以会跳过所有后续的try语句,也就是说yield ‘normal value 2’不会被执行,然后进入到except语句,打印出we got ValueError here。然后再次进入到while语句部分,消耗一个yield,所以会输出normal value。
- print(next(g)),会执行yield ‘normal value 2’语句,并停留在执行完该语句后的位置。
- g.throw(TypeError):会跳出try语句,从而print(‘here’)不会被执行,然后执行break语句,跳出while循环,然后到达程序结尾,所以跑出StopIteration异常。
下面给出一个综合例子,用来把一个多维列表展开,或者说扁平化多维列表)
def flatten(nested): try: #如果是字符串,那么手动抛出TypeError。 if isinstance(nested, str): raise TypeError for sublist in nested: #yield flatten(sublist) for element in flatten(sublist): #yield element print(‘got:‘, element) except TypeError: #print(‘here‘) yield nested L=[‘aaadf‘,[1,2,3],2,4,[5,[6,[8,[9]],‘ddf‘],7]] for num in flatten(L): print(num)
总结
- 按照鸭子模型理论,生成器就是一种迭代器,可以使用for进行迭代。
- 第一次执行next(generator)时,会执行完yield语句后程序进行挂起,所有的参数和状态会进行保存。再一次执行next(generator)时,会从挂起的状态开始往后执行。在遇到程序的结尾或者遇到StopIteration时,循环结束。
- 可以通过generator.send(arg)来传入参数,这是协程模型。
- 可以通过generator.throw(exception)来传入一个异常。throw语句会消耗掉一个yield。可以通过generator.close()来手动关闭生成器。
- next()等价于send(None)
yield from
yield产生的函数就是一个迭代器,所以我们通常会把它放在循环语句中进行输出结果。
有时候我们需要把这个yield产生的迭代器放在另一个生成器函数中,也就是生成器嵌套。
比如下面的例子:
def inner(): for i in range(10): yield i def outer(): g_inner=inner() #这是一个生成器 while True: res = g_inner.send(None) yield res g_outer=outer() while True: try: print(g_outer.send(None)) except StopIteration: break
此时,我们可以采用yield from语句来减少我么你的工作量。
def outer2(): yield from inner()
当然 ,yield from语句的重点是帮我们自动处理内外层之间的异常问题,这里有2篇写的很好的文章,所以我就不再啰嗦了。
http://blog.theerrorlog.com/yield-from-in-python-3.html
http://stackoverflow.com/questions/9708902/in-practice-what-are-the-main-uses-for-the-new-yield-from-syntax-in-python-3
迭代器
迭代器是在python2.2中被加入的,它为类序列对象提供了一个类序列的接口。有了迭代器可以迭代一个不是序列的对象,因为他表现出了序列的行为。当在python中使用for循环迭代一个对象时,调用者几乎分辨不出他迭代的是一个迭代器对象还是一个序列对象,因为python让他(迭代器)像一个序列那样操作。
我们已经知道,可以直接作用于for
循环的数据类型有以下几种:
一类是集合数据类型,如list
、tuple
、dict
、set
、str
等;
一类是generator
,包括生成器和带yield
的generator function。
这些可以直接作用于for
循环的对象统称为可迭代对象:Iterable
。
可以使用isinstance()
判断一个对象是否是Iterable
对象:
>>> from collections import Iterable >>> isinstance([], Iterable) True >>> isinstance({}, Iterable) True >>> isinstance(‘abc‘, Iterable) True >>> isinstance((x for x in range(10)), Iterable) True >>> isinstance(100, Iterable) False
而生成器不但可以作用于for
循环,还可以被next()
函数不断调用并返回下一个值,直到最后抛出StopIteration
错误表示无法继续返回下一个值了。
可以被next()
函数调用并不断返回下一个值的对象称为迭代器:Iterator
。
可以使用isinstance()
判断一个对象是否是Iterator
对象:
>>> from collections import Iterator >>> isinstance((x for x in range(10)), Iterator) True >>> isinstance([], Iterator) False >>> isinstance({}, Iterator) False >>> isinstance(‘abc‘, Iterator) False
生成器都是Iterator
对象,但list
、dict
、str
虽然是Iterable
,却不是Iterator
。
把list
、dict
、str
等Iterable
变成Iterator
可以使用iter()
函数:
>>> isinstance(iter([]), Iterator) True >>> isinstance(iter(‘abc‘), Iterator) True
你可能会问,为什么list
、dict
、str
等数据类型不是Iterator
?
这是因为Python的Iterator
对象表示的是一个数据流,Iterator对象可以被next()
函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration
错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()
函数实现按需计算下一个数据,所以Iterator
的计算是惰性的,只有在需要返回下一个数据时它才会计算。
Iterator
甚至可以表示一个无限大的数据流,例如全体自然数。而使用list是永远不可能存储全体自然数的。
小结
凡是可作用于for
循环的对象都是Iterable
类型;
凡是可作用于next()
函数的对象都是Iterator
类型,它们表示一个惰性计算的序列;
集合数据类型如list
、dict
、str
等是Iterable
但不是Iterator
,不过可以通过iter()
函数获得一个Iterator
对象。
Python的for
循环本质上就是通过不断调用next()
函数实现的,例如:
for x in [1, 2, 3, 4, 5]: pass
实际上完全等价于:
# 首先获得Iterator对象: it = iter([1, 2, 3, 4, 5]) # 循环: while True: try: # 获得下一个值: x = next(it) except StopIteration: # 遇到StopIteration就退出循环 break
内置函数
一、数学运算类
abs(x) | 求绝对值 1、参数可以是整型,也可以是复数 2、若参数是复数,则返回复数的模 |
complex([real[, imag]]) | 创建一个复数 |
divmod(a, b) | 分别取商和余数 注意:整型、浮点型都可以 |
float([x]) | 将一个字符串或数转换为浮点数。如果无参数将返回0.0 |
int([x[, base]]) | 将一个字符转换为int类型,base表示进制 |
long([x[, base]]) | 将一个字符转换为long类型 |
pow(x, y[, z]) | 返回x的y次幂 |
range([start], stop[, step]) | 产生一个序列,默认从0开始 |
round(x[, n]) | 四舍五入 |
sum(iterable[, start]) | 对集合求和 |
oct(x) | 将一个数字转化为8进制 |
hex(x) | 将整数x转换为16进制字符串 |
chr(i) | 返回整数i对应的ASCII字符 |
bin(x) | 将整数x转换为二进制字符串 |
bool([x]) | 将x转换为Boolean类型 |
二、集合类操作
basestring() | str和unicode的超类 不能直接调用,可以用作isinstance判断 |
format(value [, format_spec]) | 格式化输出字符串 格式化的参数顺序从0开始,如“I am {0},I like {1}” |
unichr(i) | 返回给定int类型的unicode |
enumerate(sequence [, start = 0]) | 返回一个可枚举的对象,该对象的next()方法将返回一个tuple |
iter(o[, sentinel]) | 生成一个对象的迭代器,第二个参数表示分隔符 |
max(iterable[, args...][key]) | 返回集合中的最大值 |
min(iterable[, args...][key]) | 返回集合中的最小值 |
dict([arg]) | 创建数据字典 |
list([iterable]) | 将一个集合类转换为另外一个集合类 |
set() | set对象实例化 |
frozenset([iterable]) | 产生一个不可变的set |
str([object]) | 转换为string类型 |
sorted(iterable[, cmp[, key[, reverse]]]) | 队集合排序 |
tuple([iterable]) | 生成一个tuple类型 |
xrange([start], stop[, step]) | xrange()函数与range()类似,但xrnage()并不创建列表,而是返回一个xrange对象,它的行为与列表相似,但是只在需要时才计算列表值,当列表很大时,这个特性能为我们节省内存 |
三、逻辑判断
all(iterable) | 1、集合中的元素都为真的时候为真 2、特别的,若为空串返回为True |
any(iterable) | 1、集合中的元素有一个为真的时候为真 2、特别的,若为空串返回为False |
cmp(x, y) | 如果x < y ,返回负数;x == y, 返回0;x > y,返回正数 |
四、反射
callable(object) | 检查对象object是否可调用 1、类是可以被调用的 2、实例是不可以被调用的,除非类中声明了__call__方法 |
classmethod() | 1、注解,用来说明这个方式是个类方法 2、类方法即可被类调用,也可以被实例调用 3、类方法类似于Java中的static方法 4、类方法中不需要有self参数 |
compile(source, filename, mode[, flags[, dont_inherit]]) |
将source编译为代码或者AST对象。代码对象能够通过exec语句来执行或者eval()进行求值。 1、参数source:字符串或者AST(Abstract Syntax Trees)对象。 2、参数 filename:代码文件名称,如果不是从文件读取代码则传递一些可辨认的值。 3、参数model:指定编译代码的种类。可以指定为 ‘exec’,’eval’,’single’。 4、参数flag和dont_inherit:这两个参数暂不介绍 |
dir([object]) | 1、不带参数时,返回当前范围内的变量、方法和定义的类型列表; 2、带参数时,返回参数的属性、方法列表。 3、如果参数包含方法__dir__(),该方法将被调用。当参数为实例时。 4、如果参数不包含__dir__(),该方法将最大限度地收集参数信息 |
delattr(object, name) | 删除object对象名为name的属性 |
eval(expression [, globals [, locals]]) | 计算表达式expression的值 |
execfile(filename [, globals [, locals]]) | 用法类似exec(),不同的是execfile的参数filename为文件名,而exec的参数为字符串。 |
filter(function, iterable) | 构造一个序列,等价于[ item for item in iterable if function(item)] 1、参数function:返回值为True或False的函数,可以为None 2、参数iterable:序列或可迭代对象 |
getattr(object, name [, defalut]) | 获取一个类的属性 |
globals() | 返回一个描述当前全局符号表的字典 |
hasattr(object, name) | 判断对象object是否包含名为name的特性 |
hash(object) | 如果对象object为哈希表类型,返回对象object的哈希值 |
id(object) | 返回对象的唯一标识 |
isinstance(object, classinfo) | 判断object是否是class的实例 |
issubclass(class, classinfo) | 判断是否是子类 |
len(s) | 返回集合长度 |
locals() | 返回当前的变量列表 |
map(function, iterable, ...) | 遍历每个元素,执行function操作 |
memoryview(obj) | 返回一个内存镜像类型的对象 |
next(iterator[, default]) | 类似于iterator.next() |
object() | 基类 |
property([fget[, fset[, fdel[, doc]]]]) | 属性访问的包装类,设置后可以通过c.x=value等来访问setter和getter |
reduce(function, iterable[, initializer]) | 合并操作,从第一个开始是前两个参数,然后是前两个的结果与第三个合并进行处理,以此类推 |
reload(module) | 重新加载模块 |
setattr(object, name, value) | 设置属性值 |
repr(object) | 将一个对象变幻为可打印的格式 |
slice() | |
staticmethod | 声明静态方法,是个注解 |
super(type[, object-or-type]) | 引用父类 |
type(object) | 返回该object的类型 |
vars([object]) | 返回对象的变量,若无参数与dict()方法类似 |
bytearray([source [, encoding [, errors]]]) | 返回一个byte数组 1、如果source为整数,则返回一个长度为source的初始化数组; 2、如果source为字符串,则按照指定的encoding将字符串转换为字节序列; 3、如果source为可迭代类型,则元素必须为[0 ,255]中的整数; 4、如果source为与buffer接口一致的对象,则此对象也可以被用于初始化bytearray. |
zip([iterable, ...]) | 实在是没有看懂,只是看到了矩阵的变幻方面 |
五、IO操作
file(filename [, mode [, bufsize]]) | file类型的构造函数,作用为打开一个文件,如果文件不存在且mode为写或追加时,文件将被创建。添加‘b’到mode参数中,将对文件以二进制形式操作。添加‘+’到mode参数中,将允许对文件同时进行读写操作 1、参数filename:文件名称。 2、参数mode:‘r‘(读)、‘w‘(写)、‘a‘(追加)。 3、参数bufsize:如果为0表示不进行缓冲,如果为1表示进行行缓冲,如果是一个大于1的数表示缓冲区的大小 。 |
input([prompt]) | 获取用户输入 推荐使用raw_input,因为该函数将不会捕获用户的错误输入 |
open(name[, mode[, buffering]]) | 打开文件 与file有什么不同?推荐使用open |
打印函数 | |
raw_input([prompt]) | 设置输入,输入都是作为字符串处理 |
JSON模块
JSON(javascript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C、C++、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解析和生成(一般用于提升网络传输速率)。
JSON在python中分别由list和dict组成。
一、python类型数据和JSON数据格式互相转换
pthon 中str类型到JSON中转为unicode类型,None转为null,dict对应object
二、数据encoding和decoding
1、简单类型数据编解码
所谓简单类型就是指上表中出现的python类型。
dumps: 将对象序列化
#coding:utf-8 import json # 简单编码=========================================== print json.dumps([‘foo‘, {‘bar‘: (‘baz‘, None, 1.0, 2)}]) # ["foo", {"bar": ["baz", null, 1.0, 2]}] #字典排序 print json.dumps({"c": 0, "b": 0, "a": 0}, sort_keys=True) # {"a": 0, "b": 0, "c": 0} #自定义分隔符 print json.dumps([1,2,3,{‘4‘: 5, ‘6‘: 7}], sort_keys=True, separators=(‘,‘,‘:‘)) # [1,2,3,{"4":5,"6":7}] print json.dumps([1,2,3,{‘4‘: 5, ‘6‘: 7}], sort_keys=True, separators=(‘/‘,‘-‘)) # [1/2/3/{"4"-5/"6"-7}] #增加缩进,增强可读性,但缩进空格会使数据变大 print json.dumps({‘4‘: 5, ‘6‘: 7}, sort_keys=True,indent=2, separators=(‘,‘, ‘: ‘)) # { # "4": 5, # "6": 7 # } # 另一个比较有用的dumps参数是skipkeys,默认为False。 # dumps方法存储dict对象时,key必须是str类型,如果出现了其他类型的话,那么会产生TypeError异常,如果开启该参数,设为True的话,会忽略这个key。 data = {‘a‘:1,(1,2):123} print json.dumps(data,skipkeys=True) #{"a": 1}
dump: 将对象序列化并保存到文件
#将对象序列化并保存到文件 obj = [‘foo‘, {‘bar‘: (‘baz‘, None, 1.0, 2)}] with open(r"c:\\json.txt","w+") as f: json.dump(obj,f)
loads: 将序列化字符串反序列化
import json obj = [‘foo‘, {‘bar‘: (‘baz‘, None, 1.0, 2)}] a= json.dumps(obj) print json.loads(a) # [u‘foo‘, {u‘bar‘: [u‘baz‘, None, 1.0, 2]}]
load: 将序列化字符串从文件读取并反序列化
with open(r"c:\\json.txt","r") as f: print json.load(f)
三、自定义复杂数据类型编解码
例如我们碰到对象datetime,或者自定义的类对象等json默认不支持的数据类型时,我们就需要自定义编解码函数。有两种方法来实现自定义编解码。
1、方法一:自定义编解码函数
#! /usr/bin/env python # -*- coding:utf-8 -*- # __author__ = "TKQ" import datetime,json dt = datetime.datetime.now() def time2str(obj): #python to json if isinstance(obj, datetime.datetime): json_str = {"datetime":obj.strftime("%Y-%m-%d %X")} return json_str return obj def str2time(json_obj): #json to python if "datetime" in json_obj: date_str,time_str = json_obj["datetime"].split(‘ ‘) date = [int(x) for x in date_str.split(‘-‘)] time = [int(x) for x in time_str.split(‘:‘)] dt = datetime.datetime(date[0],date[1], date[2], time[0],time[1], time[2]) return dt return json_obj a = json.dumps(dt,default=time2str) print a # {"datetime": "2016-10-27 17:38:31"} print json.loads(a,object_hook=str2time) # 2016-10-27 17:38:31
2、方法二:继承JSONEncoder和JSONDecoder类,重写相关方法
#! /usr/bin/env python # -*- coding:utf-8 -*- # __author__ = "TKQ" import datetime,json dt = datetime.datetime.now() dd = [dt,[1,2,3]] class MyEncoder(json.JSONEncoder): def default(self,obj): #python to json if isinstance(obj, datetime.datetime): json_str = {"datetime":obj.strftime("%Y-%m-%d %X")} return json_str return obj class MyDecoder(json.JSONDecoder): def __init__(self): json.JSONDecoder.__init__(self, object_hook=self.str2time) def str2time(self,json_obj): #json to python if "datetime" in json_obj: date_str,time_str = json_obj["datetime"].split(‘ ‘) date = [int(x) for x in date_str.split(‘-‘)] time = [int(x) for x in time_str.split(‘:‘)] dt = datetime.datetime(date[0],date[1], date[2], time[0],time[1], time[2]) return dt return json_obj # a = json.dumps(dt,default=time2str) a =MyEncoder().encode(dd) print a # [{"datetime": "2016-10-27 18:14:54"}, [1, 2, 3]] print MyDecoder().decode(a) # [datetime.datetime(2016, 10, 27, 18, 14, 54), [1, 2, 3]]
pickle模块
python的pickle模块实现了python的所有数据序列和反序列化。基本上功能使用和JSON模块没有太大区别,方法也同样是dumps/dump和loads/load。cPickle是pickle模块的C语言编译版本相对速度更快。
与JSON不同的是pickle不是用于多种语言间的数据传输,它仅作为python对象的持久化或者python程序间进行互相传输对象的方法,因此它支持了python所有的数据类型。
pickle反序列化后的对象与原对象是等值的副本对象,类似与deepcopy。
dumps/dump序列化
from datetime import date try: import cPickle as pickle #python 2 except ImportError as e: import pickle #python 3 src_dic = {"date":date.today(),"oth":([1,"a"],None,True,False),} det_str = pickle.dumps(src_dic) print det_str # (dp1 # S‘date‘ # p2 # cdatetime # date # p3 # (S‘\\x07\\xe0\\n\\x1b‘ # tRp4 # sS‘oth‘ # p5 # ((lp6 # I1 # aS‘a‘ # aNI01 # I00 # tp7 # s. with open(r"c:\\pickle.txt","w") as f: pickle.dump(src_dic,f)
loads/load反序列化
from datetime import date try: import cPickle as pickle #python 2 except ImportError as e: import pickle #python 3 src_dic = {"date":date.today(),"oth":([1,"a"],None,True,False),} det_str = pickle.dumps(src_dic) with open(r"c:\\pickle.txt","r") as f: print pickle.load(f) # {‘date‘: datetime.date(2016, 10, 27), ‘oth‘: ([1, ‘a‘], None, True, False)}
JSON和pickle模块的区别
1、JSON只能处理基本数据类型。pickle能处理所有Python的数据类型。
2、JSON用于各种语言之间的字符转换。pickle用于Python程序对象的持久化或者Python程序间对象网络传输,但不同版本的Python序列化可能还有差异。