python3 对象 字典jsonyaml字符串 相互转化

Posted 2023-04-26

参考技术A 在研究 k8s 的yaml 配置文件的时候，我总担心自己一不小心 会写错，所以我向往 使用将对象 序列化 yaml 的形式，

其实 python object 可以 直接 转 yaml ，甚至也可以 直接 转成yaml文件！！！

这里 会经常用到几个 函数 vars() ast.

我们先尝试用最笨的方法 实现 object到yaml 的转化
在python对象 convert to dict 的形式，使用 vars()函数

然后 dict convert to json 使用 json.dumps(dict)函数

然后 json converte to yaml 使用 ya= yaml.load(json.dumps(dict)) 然后
再 yaml.safe_dump(ya,default_flow_style=False)

至此我们看到 从 python Object ---> dict ----> json ---> yaml 的转化

其中 obj dict json yaml 转 string ，只要 str()函数即可,或者 str(vars())结合

yaml 格式 写入到文件 ,需要注意的是， open()函数 的mode 一定要是 'w' ,不能是’wb', b代表是二进制写入
yaml 写入的是dict str，使用 ‘wb' 会报错，[yaml TypeError: a bytes-like object is required, not 'str']
【出现该错误往往是通过open()函数打开文本文件时，使用了‘rb’属性，如：fileHandle=open(filename,'rb'),则此时是通过二进制方式打开文件的，所以在后面处理时如果使用了str()函数，就会出现该错误，该错误不会再python2中出现。

具体解决方法有以下两种：

第一种，在open()函数中使用‘r’属性，即文本方式读取，而不是‘rb’,以二进制文件方式读取，可以直接解决问题。

第二种,在open()函数中使用‘rb’,可以在使用之前进行转换，有以下实例，来自： http://stackoverflow.com/questions/33054527/python-3-5-typeerror-a-bytes-like-object-is-required-not-str 】

其实 python object 可以 直接 转 yaml ，甚至也可以 直接 转成yaml文件！！！
比如我已经定义了一个 Dog python class,他有 好几个属性 并已经赋值初始化了

另外生成 yaml 对象

生成yaml文件

结果是

反过来 yaml ----> json ---> 持久化 json 文件 indent=1属性是为了让 json 不以单行展示，而是展开
注意的是 python 的 dict 和set 很相似 ，都是 ， set 里是list， dict 是键值对
【# set object is not JSON serializable [duplicate]
】

打开 demo.json

yaml ---> dict

yaml ---> python object

json --> dict
json.loads()

dict--> json
json.jumps()

str ---> dict
newdict=dict(str)

json -- > python object

一个python object无法直接与json转化，只能先将对象转化成dictionary，再转化成json；对json，也只能先转换成dictionary，再转化成object，通过实践，源码如下：

yaml --> python object
对yaml，也只能先转换成json --->dictionary，再转化成object，通过实践，源码如下：

dict -- ->python object

python对象 默认都有一个 私有的属性 dict 取值 就是 object的 字典形式， 赋值就就可以给对象属性对应赋值

例如json 转 对象

对象 转 json

Python之dict(或对象)与json之间的互相转化
在Python语言中，json数据与dict字典以及对象之间的转化，是必不可少的操作。

dict字典转json数据

对象转json数据

json数据转成dict字典

json数据转成对象

json的load()与dump()方法的使用
dump()方法的使用

浅谈python 字典对象的 Pythonic 用法

字典对象在Python中作为最常用的数据结构之一，和数字、字符串、列表、元组并列为5大基本数据结构，字典中的元素通过键来存取，而非像列表一样通过偏移存取。笔者总结了字典的一些常用Pyhonic用法，这是字典的Pythonic用法的上篇

0. 使用 in/not in 检查 key 是否存在于字典

判断某个 key 是否存在于字典中时，一般初学者想到的方法是，先以列表的形式把字典所有键返回，再判断该key是否存在于键列表中：

 

更具Pythonic的用法是使用in关键字来判断 key 是否 存在于字典中：

 

1. 使用 setdefault() 初始化字典键值

使用字典的时候经常会遇到这样一种应用场景：动态更新字典，像如下代码，如果 key 不在 dictionary 中那么就添加它并把它对应的值初始为空列表 [] ，然后把元素 append 到空列表中：

 

尽管这段代码没有任何逻辑错误，但是我们可以使用setdefault来实现更Pyhonic的写法：

 

字典调用 setdefault 方法时，首先检查 key 是否存在，如果存在该方法什么也不做，如果不存在 setdefault 就会创建该 key，并把第二个参数[]作为 key 对应的值。

2. 使用 defaultdict() 初始化字典

初始化一个字典时，如果初始情况下希望所有 key 对应的值都是某个默认的初始值，比如有一批用户的信用积分都初始为100，现在想给 a 用户增加10分

 

同样这段代码也没任何问题，换成更pyhtonic的写法是：

 

defaultdict 是位于 collections 模块下，它是 dict 类的子类，语法结构是：

 

第一个参数default_factory是一个工厂方法，每次初始化某个键的时候将会被调用，value就是default_factory返回的值，剩下的参数和dict()函数接收的参数一样

3. 使用 iteritems() 迭代大数据

迭代大数据字典时，如果是使用 items() 方法，那么在迭代之前，迭代器迭代前需要把数据完整地加载到内存，这种方式不仅处理非常慢而且浪费内存，下面代码约占1.6G内存（为什么是1.6G?可以参考：

网页链接）

 

而使用 iteritem() 方法替换 items() ，最终实现的效果一样，但是消耗的内存降低50%，为什么差距那么大呢？因为 items() 返回的是一个 list，list 在迭代的时候会预先把所有的元素加载到内存，而 iteritem() 返回的一个迭代器(iterators)，迭代器在迭代的时候，迭代元素逐个的生成。

 

4. 高效合并字典

普通方法

合并多个字典的时候可以用一行代码实现：

 

这种写法看起来很Pythonic，但仔细分析的话，它的执行效率并不高，items()方法在python2.7中返回的是列表对象，两个列表相加得到一个新的列表，这样内存中存在3个列表对象，如果两个列表的大小都是1G，那么执行这段代码需要占用4G的空间来创建这个字典。此外这段代码在Python3中会报错，因为python3中items()返回的是dict_items对象，而不是列表。

 

在python3中，你需要明确地强制转换成list对象：

 

Pythonic方法

在Python3.5中提供了一种全新的Pythonic方法：

 

不过考虑到大部分系统还是基于Python2，所以一种更兼容的pythonic方法是：

 

当然，你可以把它封装成一个函数：

 

其他方法

还有其他方式来合并字典，但是性能不一定是最优的，比如： python2.7可以支持字典推导式

 

python2.6及以下版本使用

 

性能对比

 

直接使用python3.5中的{**x, **y}是最快的，使用update次之，用字典推导式相对来说是最慢的。

以上就是本文的全部内容，真心希望能够帮助到您。喜欢本文的小伙伴可以转发或点波关注喔！

写在最后：

如果大家在学习Python的路上，或者打算学习Python需要学习资料，可以加群571799375，群里学习资料免费赠送大家喔！

本文来自网络，如有侵权，请联系小编删除!