Python 多进程内存占用问题

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python 多进程内存占用问题相关的知识,希望对你有一定的参考价值。

参考技术A

当我们有一个很长很长的任务队列(mission_list)和阈值对应的一个处理函数(missionFunction)时,我们一般采用如下的方式进行处理:

但是,如果这任务列表很长很长,处理函数很复杂(占用cpu)时,单核往往需要很长的时间进行处理,此时,Multiprocess便可以极大的提高我们程序的运行速度,相关内容请借鉴 multiprocessing --- 基于进程的并行 — Python 3.10.4 文档。

以上这种场景下,推荐大家采用最简单的进程池+map的方法进行处理,标准的写法, chunksize要借鉴官方的说法,最好大一点

但是!!!! 如果我们的任务列表非常的长,这会导致多进程还没跑起来之前,内存已经撑爆了,任务自然没法完成,此时我们有几种办法进行优化:

进程的启动方法有三种,可参考官方文档:

[图片上传失败...(image-48cd3c-1650511153989)]

在linux环境下,使用forkserver可以节省很多的内存空间, 因为进程启动的是一个服务,不会把主进程的数据全部复制

采用imap会极大的节省空间,它返回的是一个迭代器,也就是结果列表:

但注意,以上写法中,你写的结果迭代部分必须写在with下面。或者采用另一种写法:

还有最后一种,当你的mission list实在太大了,导致你在生成 mission list的时候已经把内存撑爆了,这个时候就得优化 mission_list了,如果你的mission_list是通过一个for循环生成的,你可以使用yield字段,将其封装为一个迭代器,传入进程池:

这样子,我们就封装好了mission_list,它是一个可迭代对象,在取数据的时候才会将数据拉到内存

我在项目中结合了后两种方法,原本256G的内存都不够用,但在修改后内存只占用了不到10G。希望能够帮助到你

运行php程序文件占用多大内存

我有一个php程序文件是网站公用的,里面主要放置function函数,这个文件总行数达到了接近7000行,请问我网站运行的话会不会占用很大的内存。放置function函数是放在同一个文件好一点 还是多建几个文件存放,这样对内存的消耗怎么样。因为我现在有两个网站放在同一个服务器,但是服务器经常出问题,有时候刷新网页会出现内存不足,不知道是服务器不行还是我的程序文件有问题。服务器的内存是256M的。我在网站首页用echo memory_get_usage();测试了一下,所使用的内存为4781440,这个数字究竟是占用了多少内存。

4781440这个事字节,也就是大约4M
共享文件,按功能分大类,好维护,好修改!
php内存占用过多主要是程序问题,比如把大数组,大数据读入进行处理!
你首页需要4M,那么256M也实在太少了点,静态化吧
vps?
参考技术A 一个文件7000行,确实很不合理。
如LS兄弟所言,可以将函数文件分功能放于不同文件,根据需要加载。
另外 memory_get_usage()返回分配给PHP程序的内存的字节数(B)
4781440/1024 = 4669.375 K = 4.56M

另外,内存不足,想到php.ini文件中有个memory_limit参数,试着调节看能不能解决问题

参考资料:http://cn.php.net/manual/en/function.memory-get-usage.php

以上是关于Python 多进程内存占用问题的主要内容,如果未能解决你的问题,请参考以下文章

Linux下如何查看哪个进程占用内存多?

运行php程序文件占用多大内存

查看哪个进程占用buffer cache 多

Scikit-learn 随机森林占用太多内存

python dask to_parquet 占用大量内存

空闲的 postgres 进程占用大量内存