Python Killed: 9 在使用从 2 个 csv 文件创建的字典运行代码时
Posted
技术标签:
【中文标题】Python Killed: 9 在使用从 2 个 csv 文件创建的字典运行代码时【英文标题】:Python Killed: 9 when running a code using dictionaries created from 2 csv files 【发布时间】:2016-03-20 00:26:50 【问题描述】:我正在运行一个一直对我有用的代码。这次我在 2 个 .csv 文件上运行它:“data”(24 MB)和“data1”(475 MB)。 “data”有 3 列,每列大约 680000 个元素,而“data1”有 3 列,每列 33000000 个元素。当我运行代码时,经过大约 5 分钟的处理,我得到的只是“Killed: 9”。如果这是内存问题,如何解决?欢迎任何建议!
这是代码:
import csv
import numpy as np
from collections import OrderedDict # to save keys order
from numpy import genfromtxt
my_data = genfromtxt('data.csv', dtype='S',
delimiter=',', skip_header=1)
my_data1 = genfromtxt('data1.csv', dtype='S',
delimiter=',', skip_header=1)
d= OrderedDict((rows[2],rows[1]) for rows in my_data)
d1= dict((rows[0],rows[1]) for rows in my_data1)
dset = set(d) # returns keys
d1set = set(d1)
d_match = dset.intersection(d1) # returns matched keys
import sys
sys.stdout = open("rs_pos_ref_alt.csv", "w")
for row in my_data:
if row[2] in d_match:
print [row[1], row[2]]
“数据”的标题是:
dbSNP RS ID Physical Position
0 rs4147951 66943738
1 rs2022235 14326088
2 rs6425720 31709555
3 rs12997193 106584554
4 rs9933410 82323721
5 rs7142489 35532970
“data1”的头是:
V2 V4 V5
10468 TC T
10491 CC C
10518 TG T
10532 AG A
10582 TG T
【问题讨论】:
您是在自己的计算机上还是在某些服务器上运行它?如果它在服务器上运行,可能会有一些脚本监视“疯狂运行”的进程,一段时间后在它们上调用kill -9
。
嗨@tobias_k,我在自己的笔记本电脑上运行它
你如何“得到”`Killed: 9"?在标准输出中,还是在异常消息中?
嗨@D.Everhard,在标准输出中:Lucass-MacBook-Air:txt.long lucas$ python match_pos_snp.py Killed: 9
【参考方案1】:
内核很可能会杀死它,因为您的脚本消耗了太多内存。 您需要采取不同的方法并尝试最小化内存中的数据大小。
您可能还会发现这个问题很有用:Very large matrices using Python and NumPy
在下面的代码 sn-p 中,我试图通过逐行处理来避免将巨大的 data1.csv
加载到内存中。试一试。
import csv
from collections import OrderedDict # to save keys order
with open('data.csv', 'rb') as csvfile:
reader = csv.reader(csvfile, delimiter=',')
next(reader) #skip header
d = OrderedDict((rows[2], "val": rows[1], "flag": False) for rows in reader)
with open('data1.csv', 'rb') as csvfile:
reader = csv.reader(csvfile, delimiter=',')
next(reader) #skip header
for rows in reader:
if rows[0] in d:
d[rows[0]]["flag"] = True
import sys
sys.stdout = open("rs_pos_ref_alt.csv", "w")
for k, v in d.iteritems():
if v["flag"]:
print [v["val"], k]
【讨论】:
【参考方案2】:首先,创建一个 python 脚本并运行以下代码来查找所有 Python 进程。
import subprocess
wmic_cmd = """wmic process where "name='python.exe' or name='pythonw.exe'" get commandline,processid"""
wmic_prc = subprocess.Popen(wmic_cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)
wmic_out, wmic_err = wmic_prc.communicate()
pythons = [item.rsplit(None, 1) for item in wmic_out.splitlines() if item][1:]
pythons = [[cmdline, int(pid)] for [cmdline, pid] in pythons]
for line in pythons:
cv = str(line).split('\\')
cb=str(cv).strip('"')
fin = cv[-1]
if fin[0:11] != 'pythonw.exe':
print 'pythonw.exe', fin
if fin[0:11] != 'python.exe':
print "'python.exe'", fin
运行后,将输出粘贴到问题部分,我会在此处看到通知。
*编辑
列出所有过程并将它们发布在您的答案中,使用以下内容:
import psutil
for process in psutil.process_iter():
print process
【讨论】:
谢谢@ajsp,我运行了你的代码,但没有看到任何输出,至少在终端中没有。该脚本似乎运行良好。 某处有进程在运行-9 kill,如果你找到它,你就找到了罪魁祸首。你最近在处理任何其他代码吗?你有没有在某个地方写了一个脚本来杀死一个 PID 号? 在原始答案中发布流程!【参考方案3】:你的电脑有多少内存?
您可以添加一些优化来节省一些内存,如果这还不够,您可以权衡一些 CPU 和 IO 以获得更好的内存效率。
如果您只是比较键而不对值做任何事情,则可以只提取键:
d1 = set([rows[0] for rows in my_data1])
然后,您可以尝试使用此答案中的有序集而不是 OrderedDict -- Does python has ordered set 或使用 ordered-set 来自 pypi 的模块。
获得所有相交键后,您可以编写另一个程序,从源 csv 中查找所有匹配值。
如果这些优化还不够,您可以从更大的集合中提取所有密钥,将它们保存到一个文件中,然后使用 generators 从文件中一个接一个地加载密钥,这样您将只保留程序一套钥匙加一把钥匙,而不是两套。
我还建议使用python pickle 模块来存储中间结果。
【讨论】:
【参考方案4】:在我的例子中,有一些进程称为 syspolicy(消耗 90% CPU)或类似的东西,一旦我杀死了那个进程,运行我的命令 python3 不再返回 kill 9。
【讨论】:
以上是关于Python Killed: 9 在使用从 2 个 csv 文件创建的字典运行代码时的主要内容,如果未能解决你的问题,请参考以下文章
mongod_shard2.service: main process exited, code=killed, status=9/KILL
mongod_shard2.service: main process exited, code=killed, status=9/KILL
Oracle安装补丁时报ollect2: ld terminated with signal 9 [Killed]