机器学习_自动建模工具PyCaret

Posted 2022-12-16

机器学习涉及数据分析、清洗、建模、评价、对比模型……无论是初学者，还是有经验的开发者在面对新的项目时，都想要简化这些工作，最好能用简单的代码、较短时间，就能得出初步验证结果，之后再进一步优化。

希望能用一个简单的数据文件，几行通用的Python语句，就能实现分析、建模和部署。PyCaret就是这样的工具：虽然没有太多创新算法，但极大地简化了工作流程。这也让机器学习的门槛越来越低。

PyCaret是Python开发的机器学习库，它封装了Sklearn，XGBoost，LightGBM，Spacy，Shap，PyOD，Gensim，WordCloud等工具，几乎包括机器学习所有的使用场景和方法（不含深度学习）：异常检测Anomaly Detection，关联规则Association Rules，分类Classification，回归Regression，聚类Clustering，自然语言处理NLP等。其中支持最丰富的还是分类和回归。

PyCaret屏蔽了具体使用细节，比如各种库在建模，绘图，特征排序的不同调用方法。向外提供端到端（end-to-end）的统一开发工具，减少了学习成本，让不熟悉编程的其它领域人士，也能快速建模，而无需关注各种API的使用细节；同时也帮助专业人士更加高效地工作。

安装

对于第一次使用者，建议下载github源码，约166M，含代码、示例和数据。 ​​https://github.com/pycaret/pycaret​​

源码的tutorials目录下有针对聚类分类等典型问题各种级别的入门示例，除了普通建模以外，还有集成模型、做图分析等功能。目前2.2K GitHub Star，并一直在不断更新。因为在快速开发迭代过程中，有些文档和当前代码有一些对不上。内容结构虽然还不是特别严谨，但重点是确实能解决问题。即使不使用PyCaret，也可以从例程中学习到常用机器学习库的使用方法。

源码中提供Dockerfile，用于创建包含PyCaret的Docker镜像，不过PyCaret相对比较简单，推荐在环境中用命令直接安装。

$ pip install pycaret

安装时需要注意它依赖的各个机器学习库的软件版本匹配问题。

用法

其核心代码在项目的pycaret目录中，目前包括：

anomaly.py 异常值检测（无监督） arules.py 关联规则（无监督）
classification.py 分类（有监督）
clustering.py 聚类（无监督）
datasets.py 数据加载（辅助工具）
nlp.py 自然语言处理（无监督）
preprocess.py 预处理（辅助工具，被其它模块内部调用）
regression.py　回归（有监督）

基本流程一般包含：读取数据->建模/对比模型->模型预测->绘图分析->模型导出。包括以下常用方法：

get_data() 读数据，例程中多为读取示例数据，用户可以使用自己的数据代替。
setup() 预处理，各种建模方法（如分类/聚类）根据自己的特点实现了不同的setup，其中几乎都包含对预处理模块的调用。
models() 列出当前建模方法支持的所有模型。
compare_models() 训练多个模型，并对比其效果。
create_model() 训练模型。
predict_model() 使用模型预测。
plot_model() 显示模型相关的各种分析图，如AUC曲线，学习曲线，还包含词云图等。
tune_model() 模型调参。
assign_model() 查看无监督模型打标签的情况。
evaluate_model() 评价模型。
deploy_model() 云端部署。
ensemble_model() 集成模型。
finalize_model() 导出最终模型和参数。

示例

下例介绍用回归模型预测波士顿房价。

from pycaret.datasets import get_data
from pycaret.regression import * # 使用回归方法

boston = get_data(boston)  # 读取数据
reg1 = setup(data = boston, target = medv)  # 数据分析和预处理，指定目标变量medv
models() # 列出可用的建模方法
best = compare_models(include = [dt,rf,xgboost]) # 对比决策树、随机森林、XGBoost方法
model = create_model(xgboost) # 构建XGBoost模型 plot_model(xgboost, plot=learning) # 绘制学习曲线
interpret_model(xgboost) # shap 特征重要性分析

参考

• ​​http://pycaret.org/​​ PyCaret网站
• ​​https://github.com/eriklindernoren/ML-From-Scratch​​ 提取各种机器学习，深度学习，强化学习等例程，16.7 K GitHub Start，数据挖掘排行榜首位
• ​​https://github.com/topics/data-mining​​ GitHub数据挖掘排行榜
• ​​https://cloud.tencent.com/developer/news/397780​​ 在Python中使用PyOD进行异常值检测