撤消规模数据pyspark

Posted 2023-04-15

【中文标题】撤消规模数据pyspark

【英文标题】：undo scale data pyspark

【发布时间】：2018-08-30 08:59:04

【问题描述】：

from pyspark.ml.feature import MinMaxScaler
from pyspark.ml.linalg import Vectors

df = spark.createDataFrame([
   (0, Vectors.dense([5.0, 0.1, -1.0]),),
   (1, Vectors.dense([2.0, 2.1, 1.0]),),
   (2, Vectors.dense([3.0, 10.1, 7.0]),)
], ["id", "features"])

scaler = MinMaxScaler(inputCol="features", outputCol="scaledFeatures")
scaler_model = scaler.fit(df)
scaled_data = scalerModel.transform(df)

scaled_data 是转换后的数据。

在拟合机器学习模型后，我如何做一个反比例来分析结果？

【参考方案1】：

MinMaxScaler 将缩放特征添加为新的scaledFeatures 列，因此您的实际数据不会丢失。

您可以使用features 列分析您的scaledFeatures 输出列，然后再将其用于机器学习模型。