用于分析的内存表数据结构中的 Python（dict、list、combo）

Posted 2023-02-23

【中文标题】用于分析的内存表数据结构中的 Python（dict、list、combo）

【英文标题】：Python in memory table data structures for analysis (dict, list, combo)

【发布时间】：2011-08-07 11:36:16

【问题描述】：

我正在尝试模拟一些我使用 SQL 但使用所有 Python 的代码。 在这里有一些帮助 CSV to Python Dictionary with all column names?

我现在可以将我的 zipped-csv 文件读入 dict 只有一行，最后一行。 （如何获取行样本或整个数据文件？）

我希望有一个内存驻留表，当我完成后，我可以像 sql 一样操作它，例如通过将坏数据匹配到另一个包含坏数据和正确条目的表来清理数据。然后按类型平均按时间求和期间等..总数据文件约为 500,000 行..我并不大惊小怪，但我想尽我所能解决一般情况，所以我知道不求助于可以做什么SQL

import csv, sys, zipfile
sys.argv[0] = "/home/tom/Documents/REdata/AllListing1RES.zip"
zip_file    = zipfile.ZipFile(sys.argv[0])
items_file  = zip_file.open('AllListing1RES.txt', 'rU')
for row in csv.DictReader(items_file, dialect='excel', delimiter='\t'):
    pass 
# Then is my result is
>>> for key in row:
print 'key=%s, value=%s' % (key, row[key])  
key=YEAR_BUILT_DESC, value=EXIST
key=SUBDIVISION, value=KNOLLWOOD
key=DOM, value=2
key=STREET_NAME, value=ORLEANS RD
key=BEDROOMS, value=3
key=SOLD_PRICE, value=
key=PROP_TYPE, value=SFR
key=BATHS_FULL, value=2
key=PENDING_DATE, value=
key=STREET_NUM, value=3828
key=SOLD_DATE, value=
key=LIST_PRICE, value=324900
key=AREA, value=200
key=STATUS_DATE, value=3/3/2011 11:54:56 PM
key=STATUS, value=A
key=BATHS_HALF, value=0
key=YEAR_BUILT, value=1968
key=ZIP, value=35243
key=COUNTY, value=JEFF
key=MLS_ACCT, value=492859
key=CITY, value=MOUNTAIN ***
key=OWNER_NAME, value=SPARKS
key=LIST_DATE, value=3/3/2011
key=DATE_MODIFIED, value=3/4/2011 12:04:11 AM 
key=PARCEL_ID, value=28-15-3-009-001.0000
key=ACREAGE, value=0
key=WITHDRAWN_DATE, value=
>>>

我想我在这里叫错了几棵树... 一是我的大约 500,000 行数据文件中只有 1 行。 二是似乎 dict 可能不是正确的结构，因为我认为我不能只加载所有 500,000 行并对它们进行各种操作。喜欢..按组和日期求和.. 另外，重复键似乎可能会导致问题，即非唯一描述符，如县和细分。

我也不知道如何将特定的小行子集读入内存（例如在加载所有行之前使用 10 或 100 进行测试（我也没有得到......）我已经阅读了 Python 文档和几本参考书，但它还没有点击..

似乎我能找到的大多数答案都建议对这类事情使用各种 SQL 解决方案，但我急于学习使用 Python 实现类似结果的基础知识。在某些情况下，我认为它会更容易和更快，并且会扩展我的工具集。但我很难找到相关的例子。

一个暗示我要理解的答案是：

一旦正确读取，DictReader 应该可以将行作为字典获取，这是一种典型的面向行的结构。奇怪的是，这通常不是处理像您这样的查询的有效方法；只有列列表使搜索更容易。行方向意味着您必须为每一行重做一些查找工作。日期匹配之类的事情需要 CSV 中肯定不存在的数据，例如日期的表示方式以及哪些列是日期。

获取面向列的数据结构的示例（但是，涉及加载整个文件）：

import csv
allrows=list(csv.reader(open('test.csv')))
# Extract the first row as keys for a columns dictionary
columns=dict([(x[0],x[1:]) for x in zip(*allrows)])
The intermediate steps of going to list and storing in a variable aren't necessary. 
The key is using zip (or its cousin itertools.izip) to transpose the table.
Then extracting column two from all rows with a certain criterion in column one:

matchingrows=[rownum for (rownum,value) in enumerate(columns['one']) if value>2]
print map(columns['two'].__getitem__, matchingrows)
When you do know the type of a column, it may make sense to parse it, using appropriate 
functions like datetime.datetime.strptime.

通过扬·维尼尔

这个一般性主题肯定有一些很好的参考吗？

【问题讨论】：

所以，一般的话题是你想用 Python 写的东西替换数据库？

Python自带sqlite，sqlite支持内存数据库，你可以用它

+1 内存数据库，如 sqlite - 会让这更容易。

感谢您的 cmets，正如我所提到的，我在几种 SQL 风格中运行得非常好，所以我的目的是了解我可以如何执行（以及如何执行）类似直接在Python中函数，这是一个学习问题！一旦我理解了这个案例，它就可以应用于 Python 中的许多其他用途，并且至少在我看来它是一个相当普遍的需求/用例。

主要的新项目是 Pandas for Python，这里讨论的所有内容都采用了创新的数据结构。只需谷歌“Pandas python”

【参考方案1】：

您一次只能从 csv 阅读器读取一行，但您可以很容易地将它们全部存储在内存中：

rows = []
for row in csv.DictReader(items_file, dialect='excel', delimiter='\t'):
    rows.append(row)

# rows[0]
'keyA': 13, 'keyB': 'dataB' ... 
# rows[1]
'keyA': 5, 'keyB': 'dataB' ... 

然后，进行聚合和计算：

sum(row['keyA'] for row in rows)

您可能希望在数据进入rows 之前对其进行转换，或者使用更友好的数据结构。每次计算迭代超过 500,000 行可能会变得非常低效。

正如评论者所说，使用内存数据库可能对您非常有益。 another question 询问如何将 csv 数据传输到 sqlite 数据库。

import csv
import sqlite3

conn = sqlite3.connect(":memory:")
c = conn.cursor()
c.execute("create table t (col1 text, col2 float);")

# csv.DictReader uses the first line in the file as column headings by default
dr = csv.DictReader(open('data.csv', delimiter=','))
to_db = [(i['col1'], i['col2']) for i in dr]
c.executemany("insert into t (col1, col2) values (?, ?);", to_db)

【讨论】：

这看起来很像我要找的东西！在我投票之前让我试一试吧！但我现在就投票！

将两个答案结合起来会加载第 201 行

【参考方案2】：

你说“”“我现在可以将我的 zipped-csv 文件读入一个 dict 只有一行，最后一行。（我如何获得行样本或整个数据文件？）”“”

您的代码会这样做：

for row in csv.DictReader(items_file, dialect='excel', delimiter='\t'):
    pass

我无法想象你为什么写这个，但效果是逐行读取整个输入文件，忽略每一行（pass 表示“什么都不做”）。最终结果是row 引用了最后一行（当然，除非文件是空的）。

要“获取”整个文件，请将pass 更改为do_something_useful_with(row)。

如果要将整个文件读入内存，只需这样做：

rows = list(csv.DictReader(.....))

获取样本，例如每第 N 行 (N > 0)，从第 M 行 (0

for row_index, row in enumerate(csv.DictReader(.....)):
    if row_index % N != M: continue
    do_something_useful_with(row)

顺便说一句，你不需要dialect='excel'；这是默认设置。

【参考方案3】：

Numpy (numerical python) 是操作、比较等数组的最佳工具，您的表基本上是一个二维数组。

【讨论】：

实际上，在这种情况下，numpy 将是一个非常糟糕的选择。 Numpy 数组是为同质数据而设计的，而 numpy 中的大部分功能都是面向数值计算的。

嘿 ptone 感谢您的加入，但我倾向于同意 Joe 的观点，即 Numpy/Scipy 似乎没有这样做，我在那个兔子洞里花了很多时间希望它会这样做。 .但也许我错过了什么？乔说的问题是，大部分数据都是标签，如细分名称和日期，状态如已售和活跃，我需要汇总和计数，但这些分类标签和范围及其分组