使用 python 将 xgboost 模型保存到 hdfs

Posted 2023-04-15

【中文标题】使用 python 将 xgboost 模型保存到 hdfs

【英文标题】：Saving xgboost model to hdfs using python

【发布时间】：2018-11-09 12:33:24

【问题描述】：

我需要使用 python 将 XGBoost 模型保存到 hdfs。我尝试过使用xgbm.save_model(path_to_hdfs) 但我收到以下错误：src/io.cc:37: Please compile with DMLC_USE_HDFS=1 to use hdfs

所以我的问题是如何处理这个错误？或者也许还有其他方法可以使用 python 脚本将 XGBoost 模型存储到 hdfs？

【参考方案1】：

正如错误所说，您需要在支持 HDFS 的情况下编译 xgboost。

为此，您需要执行以下操作：

git clone --recursive https://github.com/dmlc/xgboost.git
cd xgboost
mkdir build
cmake -DDMLC_USE_HDFS=1 ..
make

安装Python package再试一次。