有效地将许多大型 CSV 文件中的 XYZ 坐标排序到小图块中

Posted 2023-04-18

【中文标题】有效地将许多大型 CSV 文件中的 XYZ 坐标排序到小图块中

【英文标题】：Effectively order XYZ coordinates from many huge CSV files into small tiles

【发布时间】：2016-04-12 02:14:09

【问题描述】：

我的问题和目标：

我有许多包含数十亿个 XYZ 坐标的巨大 (1-10GB) CSV 文件。我需要将它们插入到规则网格中，相当有效（不需要在超级计算机上花费数周的计算时间）。

我的方法：

在处理几个较小的文件时，我将所有文件都加载到一个 Pandas 数据帧中：

file_names = [files for files in os.listdir(my_path) if files.endswith(".csv")]  
data_list = []
for file_name in file_names:    
  df = pd.read_csv(my_path + "\\" + file_name, header=None, names=["x","y","z"], dtype=np.float32)
  data_list.append(df)    
frame = pd.concat(data_list)

之后，我得到 frame[x].min() 等坐标的最小值/最大值，并计算我想将数据分解为以简化插值的图块范围：

tile_extents = [min_x - (min_x%tile_size), max_x - (max_x%tile_size) + tile_size, min_y - (min_y%tile_size), max_y - (max_y%tile_size) + tile_size]
for i in range(int((tile_extents[1]-tile_extents[0])/tile_size)):
  for j in range(int((tile_extents[3]-tile_extents[2])/tile_size)):
    current_tile_extent = [tile_extents[0]+i*tile_size, tile_extents[0]+i*tile_size+tile_size, tile_extents[2]+j*tile_size, tile_extents[2]+j*tile_size+tile_size]
    current_frame = frame[(frame["x"]>current_tile_extent[0]) & (frame["x"]<current_tile_extent[1]) & (frame["y"]>current_tile_extent[2]) & (frame["y"]<current_tile_extent[3])]

我可以将其保存到 CSV 文件中，然后在这些小子集上运行插值。 但是如果我有 100GB 或更多的 XYZ 坐标，我该怎么办？如何订购它以便我可以将它们保存到图块中？

【问题讨论】：

您找到解决已删除question 的方法了吗？

@jezrael 是的，谢谢，经过更好的搜索，我意识到它是重复的，并且已经在这里回答了

【参考方案1】：

pandas.read_csv() 可以分块工作（参见chunksize 参数）。

以下代码首先读取所有文件以查找 x 和 y 的最小值和最大值，然后计算切片并为每个切片创建一个文件 (tiles\i,j.csv)。然后，它再次读取所有文件，这次将行写入适当的切片文件。 请务必根据您的需要调整chunksize！

我用一些假数据对此进行了测试，看起来不错：

import os
import numpy as np
import pandas as pd

def get_df_in_chunks(file_names, **kwargs):
    """Read all files in chunks."""
    # Set default chunk size if not specified.
    kwargs['chunksize'] = kwargs.get('chunksize', 100000)
    for file_name in file_names:
        df = pd.read_csv(file_name, **kwargs)
        yield from iter(df)

my_path = '.'
file_names = [my_path + "\\" + file for file in os.listdir(my_path) if file.endswith(".csv")]
print('file_names: '.format(file_names))

# Read all files to determine the global min and max values.
min_x = +np.inf
max_x = -np.inf
min_y = +np.inf
max_y = -np.inf
for chunk in get_df_in_chunks(file_names, header=None, dtype=np.float32,
                              usecols=["x","y"], names=["x","y"]):
    print('  - chunk: '.format(chunk.shape))
    min_x = min(min_x, chunk["x"].min())
    max_x = max(max_x, chunk["x"].max())
    min_y = min(min_y, chunk["y"].min())
    max_y = max(max_y, chunk["y"].max())
print("x min/max:", min_x, max_x)
print("y min/max:", min_y, max_y)

# Calculate tile extents.
tile_size = 1.5
tile_limits = [min_x - (min_x%tile_size),
               max_x - (max_x%tile_size) + tile_size,
               min_y - (min_y%tile_size),
               max_y - (max_y%tile_size) + tile_size]
print("tile_size:", tile_size)
print("tile_limits:", tile_limits)

if not os.path.exists(my_path + "\\tiles"):
    os.mkdir(my_path + "\\tiles")

tile_files = []
try:
    # Open all tile files.
    for i in range(int(round(tile_limits[1]-tile_limits[0])/tile_size)):
        for j in range(int(round(tile_limits[3]-tile_limits[2])/tile_size)):
            tile_extent = [tile_limits[0] + i*tile_size,
                           tile_limits[0] + i*tile_size + tile_size,
                           tile_limits[2] + j*tile_size,
                           tile_limits[2] + j*tile_size + tile_size]
            f = open(my_path + "\\tiles\\,.csv".format(i,j), 'w')
            tile_files.append((f, tile_extent))

    for chunk in get_df_in_chunks(file_names, header=None, dtype=np.float32,
                                  usecols=["x","y","z"], names=["x","y","z"]):
        # For each tile, write all relevant rows into the corresponding tile file.
        for f, tile_extent in tile_files:
            # Option 1: boolean condition.
            frame = chunk[(chunk["x"] >= tile_extent[0]) &
                          (chunk["x"] <  tile_extent[1]) &
                          (chunk["y"] >= tile_extent[2]) &
                          (chunk["y"] <  tile_extent[3])]
            # Option 2: query using numexpr. Could be faster, but wasn't in my test.
            #frame = chunk.query('x >=  & x <  & y >=  & y < '.format(*tile_extent))

            ##print('file:  tile_extent:  frame: shape='.format(f.name, tile_extent, frame.shape))
            frame.to_csv(f, header=None, index=False)
finally:
    # Close all tile files.
    for f, _ in tile_files:
        f.close()

【讨论】：

还有一个问题：行选择条件 ((chunk["x"] >= current_tile_extent[0]) & ... & ... & ...) 不包括 x 和 y 的上限，用于 i 或 j 最大的图块。因此，如果这些最大值是 tile_size 的精确倍数，则不会包含 x == max_x 或 y == max_y 的数据点。最简单的解决方案是增加 max_x 和 max_y，但根据它们的大小，添加 1.0 可能会下溢，而乘以 1.0001 则不适用于非正数和无穷大。

哇，完整的代码。没想到，非常感谢。现在我正在考虑分块读取，但事实证明，即使没有分块，我的电脑也能够读取文件，无论如何，如果某些文件太大，分块读取仍然更安全。我不明白的是，这段代码是否意味着我所有的 100GB 到 1TB 数据将立即加载到内存中？我不敢尝试:)

在我的 XYZ 剪辑代码中，我使用的每个图块范围实际上将区域扩展了五分之一，以确保我此时使用的插值方法（三角测量）将覆盖整个原始图块范围，所以没有担心 x == max_x 或 y == max_y。谢谢。

不客气。不，您的数据不会立即加载；此代码使用分块。看看get_df_in_chunks() 在查找最小值/最大值以及写入切片文件时如何使用？

我将代码更新为只读取所有文件两次。实际上，这是一个简单的改变。 -- 不过，您可以通过压缩输出和输入文件来获得更快的速度。不要忘记调整chunksize！