一个高效易用的分布式机器学习框架

Posted 2021-05-02 区块链技术吧

什么是xLearn？

xLearn是一种高性能、易用、可扩展的机器学习软件包，可用于解决大规模的机器学习问题。xLearn对于解决大规模稀疏数据的机器学习问题特别有用，这是近年来在诸如在线广告和推荐系统等互联网服务中非常常见的问题。如果您是liblinear、libfm、或libffm的用户，现在xLearn是另一个更好的选择。

性能参考

XLearn是用高效的C++精心设计和优化开发出来的。我们的系统被设计为最大化CPU和内存利用率，提供缓存感知计算，并支持无锁编程学习。通过结合这些见解，xLearn比相似系统快5x-13x。

易于使用

xLearn不依赖任何麻烦的第三方库，因此用户可以克隆代码并使用CMake编译。此外，xLearn支持非常简单的Python和R API的数据科学，它还提供了许多有用的特点，已被广泛应用于机器学习和数据挖掘比赛，如交叉验证，早退模式等。

性能

xLearn可用于解决大规模机器学习问题。首先，xLearn支持非核心训练，它可以通过利用PC的磁盘来处理非常大的数据（TB）。此外，xLearn支持分布式训练，它通过使用参数服务器框架来跨越许多机器的规模超过数十亿的示例。

项目位置：https://github.com/aksnzhy/xlearn