错误：字段大于字段限制 (131072) [重复]

Posted 2023-02-23

【中文标题】错误：字段大于字段限制 (131072) [重复]

【英文标题】：Error: Field larger than field limit (131072) [duplicate]

【发布时间】：2019-05-31 05:31:18

【问题描述】：

我在 spyder python 中使用大 csv 数据将 csv 转换为 json，但它显示错误字段大于字段限制 (131072)。

转换脚本：

import csv
import json


file = r'abcdata.csv'
json_file = r'abcdata.json'


#Read CSV File
def read_CSV(file, json_file):
    csv_rows = []
    with open(file) as csvfile:
        reader = csv.DictReader(csvfile)
        field = reader.fieldnames
        for row in reader:
            csv_rows.extend([field[i]:row[field[i]] for i in range(len(field))])
        convert_write_json(csv_rows, json_file)


#Convert csv data into json
def convert_write_json(data, json_file):
    with open(json_file, "w") as f:
        f.write(json.dumps(data, sort_keys=False, indent=1, separators=(',', ': '))) #for pretty
        f.write(json.dumps(data))

read_CSV(file, json_file)

【问题讨论】：

请添加堆栈跟踪。并添加更多关于您正在使用的数据、行/列数、文件大小等的数据。

【参考方案1】：

您必须拥有大量数据。单列数据的默认限制为csv.field_size_limit()。可以更改：

>>> import csv
>>> csv.field_size_limit()
131072
>>> csv.field_size_limit(256<<10)
131072
>>> csv.field_size_limit()
262144

您也可能错误地读取了 .CSV。