Python问题:从一个文件夹中读取多个json文件只加载一个json

Posted

技术标签:

【中文标题】Python问题:从一个文件夹中读取多个json文件只加载一个json【英文标题】:Python problem: reading multiple json files from a folder load only one json 【发布时间】:2019-02-21 15:03:54 【问题描述】:

我的 json 文件示例是带有这个统计标记的:

mean:0,23454
min:-2,83456
max:-3,45678

我有一个包含 20 个 json 文件的文件夹:

这是我的代码,用于从 Python 中的文件夹中读取多个 json 文件作为问题 Python: Read several json files from a folder

这段代码只加载一个 json 文件而不是多个文件,我不知道为什么。 我认为问题出在这个函数上:

for index, js in enumerate(json_files):
with open(os.path.join(path_to_json, js)) as json_file:
json_text = json.load(json_file)

我所有的代码:

import os, json
import pandas as pd
# this finds our json files
path_to_json = 'path/'
json_files = [pos_json for pos_json in os.listdir(path_to_json) if   pos_json.endswith('.json')]


# here I define my pandas Dataframe with the columns I want to get from the json
jsons_data = pd.DataFrame(columns=['mean','min','max','peak2peak','std','variance','kurtosis','skewness','rmsOriginalSignal','rmsFiltSignal_01','rmsFiltSignal_02','rmsFiltSignal_03'])

# we need both the json and an index number so use enumerate()

for index, js in enumerate(json_files):
    with open(os.path.join(path_to_json, js)) as json_file:
        json_text = json.load(json_file)

mean = json_text['mean']
min = json_text['min']
max = json_text['max']
peak2peak = json_text['peak2peak']
std = json_text['std']
variance = json_text['std']
kurtosis = json_text['kurtosis']
skewness = json_text['skewness']
rmsOriginalSignal = json_text['rmsOriginalSignal']
rmsFiltSignal_01 = json_text['rmsFiltSignal_01'] 
rmsFiltSignal_02 = json_text['rmsFiltSignal_02']
rmsFiltSignal_03 = json_text['rmsFiltSignal_03']
jsons_data.loc[index]=       [mean,min,max,peak2peak,std,variance,kurtosis,skewness,rmsOriginalSignal, rmsFiltSignal_01, rmsFiltSignal_02, rmsFiltSignal_03]
print(jsons_data)

此代码没有给出任何错误,但只加载了一个 json 文件。

【问题讨论】:

【参考方案1】:

在我看来,json_text 每次迭代都会被覆盖。

也许创建例如一个列表并在循环中附加到该列表?

例如:

json_text_list = []
for index, js in enumerate(json_files):
    with open(os.path.join(path_to_json, js)) as json_file:
        json_text_list.append(json.load(json_file))

要么这样,要么在循环中计算您的统计数据(并将结果存储在列表或类似列表中)。

【讨论】:

【参考方案2】:

您正在覆盖json_text 变量,因此您读取每个文件,但只保留最后一个文件中的值。这似乎是因为您的代码没有正确缩进。

您需要缩进最后几行以匹配循环的缩进,如下所示:

for index, js in enumerate(json_files):
    with open(os.path.join(path_to_json, js)) as json_file:
        json_text = json.load(json_file)

        mean = json_text['mean']
        min = json_text['min']
        max = json_text['max']
        peak2peak = json_text['peak2peak']
        std = json_text['std']
        variance = json_text['std']
        kurtosis = json_text['kurtosis']
        skewness = json_text['skewness']
        rmsOriginalSignal = json_text['rmsOriginalSignal']
        rmsFiltSignal_01 = json_text['rmsFiltSignal_01'] 
        rmsFiltSignal_02 = json_text['rmsFiltSignal_02']
        rmsFiltSignal_03 = json_text['rmsFiltSignal_03']
        jsons_data.loc[index]=       [mean,min,max,peak2peak,std,variance,kurtosis,skewness,rmsOriginalSignal, rmsFiltSignal_01, rmsFiltSignal_02, rmsFiltSignal_03]

print(jsons_data)   

一个更简单的例子

给出一个更容易可视化的例子:

for n in range(10):
    n_squared = n * n

print(n_squared)

将只打印81,因为打印语句不在循环中。就像建议的缩进这个 print 的修复一样,将打印每个平方值。

for n in range(10):
    n_squared = n * n
    print(n_squared)

输出:

0
1
4
9
16
25
36
49
64
81

【讨论】:

以上是关于Python问题:从一个文件夹中读取多个json文件只加载一个json的主要内容,如果未能解决你的问题,请参考以下文章

如何从 Python 中的文件/流中懒惰地读取多个 JSON 值?

在 Python 3.4 中加载和读取具有多个 JSON 对象的 JSON 文件

Spark - 如何从 S3 读取具有文件名的多个 Json 文件

Python:从文件中读取推文,没有用户信息

如何从一个文件中读取多个 JSON 数据列表到 Pandas

Pyspark:从路径读取多个 JSON 文件