从多个 csv 文件创建 libsvm 用于 xgboost 外部内存训练

Posted 2023-03-12

【中文标题】从多个 csv 文件创建 libsvm 用于 xgboost 外部内存训练

【英文标题】：Create libsvm from multiple csv files for xgboost external memory training

【发布时间】：2019-04-23 10:35:45

【问题描述】：

我正在尝试使用其外部存储器版本训练 xgboost 模型，该模型将 libsvm 文件作为训练集。现在，所有数据都存储在一堆 csv 文件中，这些文件组合在一起比我拥有的内存大得多，比如 70G。（您可以轻松读取其中任何一个）。我只是想知道如何为 xgboost 创建一个大的 libsvm 文件。或者，如果有任何其他工作回合。谢谢。

【参考方案1】：

如果您的 csv 文件没有标题，您可以将它们与 Unix cat 命令结合使用。

例子：

> ls
file1.csv file2.csv
> cat *.csv > combined.csv

现在combined.csv 是所有其他文件的集合cat。

如果你所有的 csv 文件都有标题，你会想要做一些更棘手的事情，比如用tail 取 n-1 行。

XGBoost 支持csv as an input.

如果您想将其转换为 libsvm，则可以使用 phraug's 脚本。

【讨论】：

感谢您的回答，我的理解是libsvm也是一个文本文件。我可以对一堆 libsvm 文件执行相同的 cat 操作吗？