python 数据较大 性能分析

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 数据较大 性能分析相关的知识,希望对你有一定的参考价值。

前提:若有一个几百M的文件需要解析,某个函数需要运行很多次(几千次),需要考虑性能问题

性能分析模块:cProfile

使用方法:cProfile.run("func()"),其中func()是进行性能分析的函数

技术分享

测试结果:结果会显示每个自己写的函数运行的时间,以及内置函数运行的时间

分析运行次数比较多且耗时大的函数,进行优化,如:正则表达式匹配比较耗时,可以将多个正则合并为一个

 

以上是关于python 数据较大 性能分析的主要内容,如果未能解决你的问题,请参考以下文章

python数据分析实战---数据处理

Python 使用 PyMysqlDBUtils 创建连接池提升性能

不必要的较大数据类型、变量类型及其性能的声明

时序分析 29 - 时序预测 - 格兰杰因果关系(下) python实践2

自己开发的“万能数据库查询分析器”终于有了较大的成果

分析较大文件中的一列[重复]