从 tar.gz 文件夹中读取 json 文件并转换为 pandas 数据框 [重复]

Posted 2023-03-11

【中文标题】从 tar.gz 文件夹中读取 json 文件并转换为 pandas 数据框 [重复]

【英文标题】：Read json files from tar.gz folders and convert to pandas dataframe [duplicate]

【发布时间】：2019-11-23 14:56:03

【问题描述】：

我从未使用过 json 文件，我的问题是我有几个文件夹 tar.gz 包含不同的 json 文件。从每个压缩文件夹中，我只需要读取 AAjson 文件，追加并转换为 pandas 数据框。我是这样尝试的

import os, re
import pandas as pd

import pandas as pd 
import tarfile
import json
from pandas.io.json import json_normalize

cd = "my_path"

dfList = []

for root, dirs, files in os.walk(cd):
 with tarfile.open("dirs", "r:*") as tar:
    for fname in files:
        if re.match("AA_*.json$", fname):
            data = json.load(fname)
            frame = pd.DataFrame.from_dict(json_normilized(data), 
orient='columns')
            dfList.append(frame)    

 df = pd.concat(dfList) 

我发现了错误

FileNotFoundError: [Errno 2] 没有这样的文件或目录：'dirs'

【参考方案1】：

import pandas as pd
data = pd.read_json('filepath/filename')
data