从 json 对象创建 pandas 数据框

Posted 2023-03-11

【中文标题】从 json 对象创建 pandas 数据框

【英文标题】：Create pandas dataframe from json objects

【发布时间】：2014-01-05 18:18:57

【问题描述】：

我终于从一个包含许多 json 对象的文件中输出了我需要的数据，但我需要一些帮助来将以下输出转换为单个数据帧，因为它循环遍历数据。下面是生成输出的代码，包括输出样例：

原始数据：

"zipcode":"08989",
"current""canwc":null,"cig":4900,"class":"observation","clds":"OVC","day_ind":"D","dewpt":19,"expireTimeGMT":1385486700,"feels_like":34,"gust":null,"hi":37,"humidex":null,"icon_code":26,"icon_extd":2600,"max_temp":37,"wxMan":"wx1111",
"triggers":[53,31,9,21,48,7,40,178,55,179,176,26,103,175,33,51,20,57,112,30,50,113]


"zipcode":"08990",
"current":"canwc":null,"cig":4900,"class":"observation","clds":"OVC","day_ind":"D","dewpt":19,"expireTimeGMT":1385486700,"feels_like":34,"gust":null,"hi":37,"humidex":null,"icon_code":26,"icon_extd":2600,"max_temp":37, "wxMan":"wx1111",
"triggers":[53,31,9,21,48,7,40,178,55,179,176,26,103,175,33,51,20,57,112,30,50,113]


def lines_per_n(f, n):
    for line in f:
        yield ''.join(chain([line], itertools.islice(f, n - 1)))

for fin in glob.glob('*.txt'):
    with open(fin) as f:
        for chunk in lines_per_n(f, 5):
            try:
                jfile = json.loads(chunk)
                zipcode = jfile['zipcode']
                datetime = jfile['current']['proc_time']
                triggers = jfile['triggers']
                print pd.Series(jfile['zipcode']), 
                      pd.Series(jfile['current']['proc_time']),\
                      jfile['triggers']          
            except ValueError, e:
                pass
            else:
                pass

当我运行上面的输出时得到的示例输出，我想将它作为 3 列存储在 pandas 数据框中。

08988 20131126102946 []
08989 20131126102946 [53, 31, 9, 21, 48, 7, 40, 178, 55, 179]
08988 20131126102946 []
08989 20131126102946 [53, 31, 9, 21, 48, 7, 40, 178, 55, 179]
00544 20131126102946 [178, 30, 176, 103, 179, 112, 21, 20, 48]

所以下面的代码看起来更接近，如果我在列表中传递并转置 df，它会给我一个时髦的 df。知道如何正确重塑这个形状吗？

def series_chunk(chunk):
    jfile = json.loads(chunk)
    zipcode = jfile['zipcode']
    datetime = jfile['current']['proc_time']
    triggers = jfile['triggers']
    return jfile['zipcode'],\
            jfile['current']['proc_time'],\
            jfile['triggers']

for fin in glob.glob('*.txt'):
    with open(fin) as f:
        for chunk in lines_per_n(f, 7):
            df1 = pd.DataFrame(list(series_chunk(chunk)))
            print df1.T

[u'08988', u'20131126102946', []]
[u'08989', u'20131126102946', [53, 31, 9, 21, 48, 7, 40, 178, 55, 179]]
[u'08988', u'20131126102946', []]
[u'08989', u'20131126102946', [53, 31, 9, 21, 48, 7, 40, 178, 55, 179]]

数据框：

   0               1   2
0  08988  20131126102946  []
       0               1                                                  2
0  08989  20131126102946  [53, 31, 9, 21, 48, 7, 40, 178, 55, 179, 176, ...
       0               1   2
0  08988  20131126102946  []
       0               1                                                  2
0  08989  20131126102946  [53, 31, 9, 21, 48, 7, 40, 178, 55, 179, 176, ...

这是我的最终代码和输出。如何捕获它通过循环创建的每个数据帧并将它们动态连接为一个数据帧对象？

for fin in glob.glob('*.txt'):
    with open(fin) as f:
        print pd.concat([series_chunk(chunk) for chunk in lines_per_n(f, 7)], axis=1).T

       0               1                                                  2
0  08988  20131126102946                                                 []
1  08989  20131126102946  [53, 31, 9, 21, 48, 7, 40, 178, 55, 179, 176, ...
       0               1                                                  2
0  08988  20131126102946                                                 []
1  08989  20131126102946  [53, 31, 9, 21, 48, 7, 40, 178, 55, 179, 176, ...

【问题讨论】：

您想要的输出是什么？

与您在使用正则表达式的 read_csv 数据框方法中所拥有的完全一样。只有 3 列，其中包含指定 3 个键中的键和值。

我认为您将能够使用 concat 将其包装起来，例如： pd.concat([series_chunk(chunk) for chunk in lines_per_n(f, 5)])，其中 series_chunk是将每一行作为系列返回的函数（try/except 块中的位）。

@AndyHayden 感谢您的帮助。我有点坚持连接到 df 对象的最后一步。我已经更新了我的代码和输出。非常感谢任何指导。

附加到我的答案中，应该让你走上正轨。

【参考方案1】：

注意：对于那些想要将 json 解析为 pandas 的人来说，如果你确实有 valid json（这个问题没有），那么你应该使用 pandas read_json 函数：

# can either pass string of the json, or a filepath to a file with valid json
In [99]: pd.read_json('["A": 1, "B": 2, "A": 3, "B": 4]')
Out[99]:
   A  B
0  1  2
1  3  4

查看IO part of the docs 中的几个示例、可以传递给此函数的参数，以及规范化结构较少的 json 的方法。

如果您没有有效的 json，在以 json 格式读取之前先对字符串进行处理通常会很有效，例如 see this answer。

如果您有多个 json 文件，则应将 DataFrame 连接在一起（类似于此答案）：

pd.concat([pd.read_json(file) for file in ...], ignore_index=True)

此示例的原始答案：

在正则表达式中对传递给 read_csv 的分隔符使用lookbehind：

In [11]: df = pd.read_csv('foo.csv', sep='(?<!,)\s', header=None)

In [12]: df
Out[12]: 
       0               1                                                  2
0   8988  20131126102946                                                 []
1   8989  20131126102946  [53, 31, 9, 21, 48, 7, 40, 178, 55, 179, 176, ...
2   8988  20131126102946                                                 []
3   8989  20131126102946  [53, 31, 9, 21, 48, 7, 40, 178, 55, 179, 176, ...
4    544  20131126102946  [178, 30, 176, 103, 179, 112, 21, 20, 48, 7, 5...
5    601  20131126094911                                                 []
6    602  20131126101056                                                 []
7    603  20131126101056                                                 []
8    604  20131126101056                                                 []
9    544  20131126102946  [178, 30, 176, 103, 179, 112, 21, 20, 48, 7, 5...
10   601  20131126094911                                                 []
11   602  20131126101056                                                 []
12   603  20131126101056                                                 []
13   604  20131126101056                                                 []

[14 rows x 3 columns]

正如 cmets 中提到的，您可以通过将多个系列连接在一起更直接地做到这一点......这也将更容易理解：

def series_chunk(chunk):
    jfile = json.loads(chunk)
    zipcode = jfile['zipcode']
    datetime = jfile['current']['proc_time']
    triggers = jfile['triggers']
    return pd.Series([jfile['zipcode'], jfile['current']['proc_time'], jfile['triggers']])

dfs = []
for fin in glob.glob('*.txt'):
    with open(fin) as f:
        df = pd.concat([series_chunk(chunk) for chunk in lines_per_n(f, 5)], axis=1)
        dfs.append(dfs)

df = pd.concat(dfs, ignore_index=True)

注意：您也可以将 try/except 移动到 series_chunk。

【讨论】：

但是如果我不使用 csv 工作怎么办？我需要处理一个大的 json 对象文件，然后从我的问题中的三个键生成值。我正在尝试将数据放入数据框中以进行进一步处理。

@prometheus2305 这是如何从您提供的输出中创建一个 DataFrame（尽管严格来说不是“csv”！）。我怀疑你可以更直接地将一些对象连接在一起，但如果没有short example

谢谢。我已经添加了所有代码和示例数据。希望能够以某种方式将对象输出连接到数据框中。任何帮助将不胜感激。