Spark Python：标准缩放器错误“不支持...... SparseVector”
Posted
技术标签:
【中文标题】Spark Python：标准缩放器错误“不支持...... SparseVector”【英文标题】：Spark Python: Standard scaler error "Do not support ... SparseVector" 【发布时间】：2016-12-25 09:08:49 【问题描述】：我又撞到了墙。我是个新手，所以我不得不再次依靠你的强大知识。
我从一个数据集开始，看起来像这样：
,user_account_id,user_lifetime,user_no_outgoing_activity_in_days,user_account_balance_last,user_spendings,reloads_inactive_days,reloads_count,reloads_sum,calls_outgoing_count,calls_outgoing_spendings,calls_outgoing_duration,calls_outgoing_spendings_max,calls_outgoing_duration_max,calls_outgoing_inactive_days,calls_outgoing_to_onnet_count,calls_outgoing_to_onnet_spendings,calls_outgoing_to_onnet_duration,calls_outgoing_to_onnet_inactive_days,calls_outgoing_to_offnet_count,calls_outgoing_to_offnet_spendings,calls_outgoing_to_offnet_duration,calls_outgoing_to_offnet_inactive_days,calls_outgoing_to_abroad_count,calls_outgoing_to_abroad_spendings,calls_outgoing_to_abroad_duration,calls_outgoing_to_abroad_inactive_days,sms_outgoing_count,sms_outgoing_spendings,sms_outgoing_spendings_max,sms_outgoing_inactive_days,sms_outgoing_to_onnet_count,sms_outgoing_to_onnet_spendings,sms_outgoing_to_onnet_inactive_days,sms_outgoing_to_offnet_count,sms_outgoing_to_offnet_spendings,sms_outgoing_to_offnet_inactive_days,sms_outgoing_to_abroad_count,sms_outgoing_to_abroad_spendings,sms_outgoing_to_abroad_inactive_days,sms_incoming_count,sms_incoming_spendings,sms_incoming_from_abroad_count,sms_incoming_from_abroad_spendings,gprs_session_count,gprs_usage,gprs_spendings,gprs_inactive_days,last_100_reloads_count,last_100_reloads_sum,last_100_calls_outgoing_duration,last_100_calls_outgoing_to_onnet_duration,last_100_calls_outgoing_to_offnet_duration,last_100_calls_outgoing_to_abroad_duration,last_100_sms_outgoing_count,last_100_sms_outgoing_to_onnet_count,last_100_sms_outgoing_to_offnet_count,last_100_sms_outgoing_to_abroad_count,last_100_gprs_usage,user_intake,user_has_outgoing_calls,user_has_outgoing_sms,user_use_gprs,user_does_reload,n_months,month,churn
0,1031,947.0,0.3333333333333333,10.993333333333334,10.3,12.0,1.3333333333333333,10.013333333333334,83.66666666666667,5.859999999999999,55.69,0.5966666666666667,10.333333333333334,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,23.333333333333332,2.8833333333333333,25.0,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,135.33333333333334,4.44,0.06,0.3333333333333333,16.333333333333332,0.98,0.3333333333333333,57.666666666666664,3.4599999999999995,0.3333333333333333,0.0,0.0,0.3333333333333333,14.0,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,5.666666666666667,22.01666666666667,130.48,0.0,65.33333333333333,0.0,287.3333333333333,34.0,113.66666666666667,0.0,0.0,0,1,1,0,1,3,9,0
1,4231,951.0,1.3333333333333333,27.546666666666667,6.45,22.0,1.0,12.013333333333334,46.333333333333336,6.45,47.150000000000006,1.3233333333333333,8.81,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,31.666666666666668,6.400000000000001,42.656666666666666,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,0.6666666666666666,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,10.666666666666666,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,4.0,32.026666666666664,156.96666666666667,0.0,145.42999999999998,0.0,1.6666666666666667,0.0,0.3333333333333333,0.0,0.0,0,1,1,0,1,3,9,0
2,5231,523.0,0.6666666666666666,14.62,1.0999999999999999,1307.0,0.0,0.0,14.333333333333334,1.0999999999999999,7.573333333333333,0.7266666666666666,4.84,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,8.333333333333334,0.3233333333333333,2.1566666666666667,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,0.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,8.333333333333334,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,0.0,0.0,47.330000000000005,0.0,10.356666666666667,0.0,0.0,0.0,0.0,0.0,0.0,0,1,0,0,0,3,9,0
我的代码看起来像这样：
ca1DF = (
sqlContext.read.load("merged.csv", format="com.databricks.spark.csv", header=True, inferSchema=True)
.rdd.toDF(["user_account_id", "user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload", "n_months", "churn"])
).cache()
ca1DF.show(5)
|user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last| user_spendings|reloads_inactive_days| reloads_count| reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn|
| 0| 1031| 947.0| 0.3333333333333333|10.993333333333334| 10.3| 12.0|1.3333333333333333| 10.013333333333334| 83.66666666666667| 5.859999999999999| 55.69| 0.5966666666666667| 10.333333333333334| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 23.333333333333332| 2.8833333333333333| 25.0| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 135.33333333333334| 4.44| 0.06| 0.3333333333333333| 16.333333333333332| 0.98| 0.3333333333333333| 57.666666666666664| 3.4599999999999995| 0.3333333333333333| 0.0| 0.0|0.3333333333333333| 14.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 5.666666666666667| 22.01666666666667| 130.48| 0.0| 65.33333333333333| 0.0| 287.3333333333333| 34.0| 113.66666666666667| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|
| 1| 4231| 951.0| 1.3333333333333333|27.546666666666667| 6.45| 22.0| 1.0| 12.013333333333334| 46.333333333333336| 6.45| 47.150000000000006| 1.3233333333333333| 8.81| 1.3333333333333333| 0.0| 0.0| 0.0| 1.3333333333333333| 31.666666666666668| 6.400000000000001| 42.656666666666666| 1.3333333333333333| 0.0| 0.0| 0.0|1.3333333333333333| 0.6666666666666666| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 10.666666666666666| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 4.0| 32.026666666666664| 156.96666666666667| 0.0| 145.42999999999998| 0.0| 1.6666666666666667| 0.0| 0.3333333333333333| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|
| 2| 5231| 523.0| 0.6666666666666666| 14.62| 1.0999999999999999| 1307.0| 0.0| 0.0| 14.333333333333334| 1.0999999999999999| 7.573333333333333| 0.7266666666666666| 4.84| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 8.333333333333334| 0.3233333333333333| 2.1566666666666667| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 8.333333333333334| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 47.330000000000005| 0.0| 10.356666666666667| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0| 1| 0| 0| 0| 3| 9| 0|
from pyspark.ml.feature import StandardScaler, VectorAssembler
assembler = VectorAssembler(inputCols=["user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload"], outputCol="features")
scaler = StandardScaler(withMean=True, withStd=True, inputCol="features", outputCol="scaled_features")
ca1FeaturizedDF = assembler.transform(ca1DF)
ca1FeaturizedDF.show(5)
|user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last| user_spendings|reloads_inactive_days| reloads_count| reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn| features|
| 0| 1031| 947.0| 0.3333333333333333|10.993333333333334| 10.3| 12.0|1.3333333333333333| 10.013333333333334| 83.66666666666667| 5.859999999999999| 55.69| 0.5966666666666667| 10.333333333333334| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 23.333333333333332| 2.8833333333333333| 25.0| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 135.33333333333334| 4.44| 0.06| 0.3333333333333333| 16.333333333333332| 0.98| 0.3333333333333333| 57.666666666666664| 3.4599999999999995| 0.3333333333333333| 0.0| 0.0|0.3333333333333333| 14.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 5.666666666666667| 22.01666666666667| 130.48| 0.0| 65.33333333333333| 0.0| 287.3333333333333| 34.0| 113.66666666666667| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|[1031.0,947.0,0.3...|
| 1| 4231| 951.0| 1.3333333333333333|27.546666666666667| 6.45| 22.0| 1.0| 12.013333333333334| 46.333333333333336| 6.45| 47.150000000000006| 1.3233333333333333| 8.81| 1.3333333333333333| 0.0| 0.0| 0.0| 1.3333333333333333| 31.666666666666668| 6.400000000000001| 42.656666666666666| 1.3333333333333333| 0.0| 0.0| 0.0|1.3333333333333333| 0.6666666666666666| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 10.666666666666666| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 4.0| 32.026666666666664| 156.96666666666667| 0.0| 145.42999999999998| 0.0| 1.6666666666666667| 0.0| 0.3333333333333333| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|(62,[0,1,2,3,4,5,...|
| 2| 5231| 523.0| 0.6666666666666666| 14.62| 1.0999999999999999| 1307.0| 0.0| 0.0| 14.333333333333334| 1.0999999999999999| 7.573333333333333| 0.7266666666666666| 4.84| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 8.333333333333334| 0.3233333333333333| 2.1566666666666667| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 8.333333333333334| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 47.330000000000005| 0.0| 10.356666666666667| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0| 1| 0| 0| 0| 3| 9| 0|(62,[0,1,2,3,4,5,...|
scalerModel = scaler.fit(ca1FeaturizedDF)
ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF)
ca1FeaturizeScaleddDF.show(5)
产生错误：
---------------------------------------------------------------------------
Py4JJavaError Traceback (most recent call last)
<ipython-input-24-4a1ada825b56> in <module>()
1 ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF)
----> 2 ca1FeaturizeScaleddDF.show(5)
/opt/apache-spark/python/pyspark/sql/dataframe.py in show(self, n, truncate)
255 +---+-----+
256 """
--> 257 print(self._jdf.showString(n, truncate))
258
259 def __repr__(self):
/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py in __call__(self, *args)
811 answer = self.gateway_client.send_command(command)
812 return_value = get_return_value(
--> 813 answer, self.gateway_client, self.target_id, self.name)
814
815 for temp_arg in temp_args:
/opt/apache-spark/python/pyspark/sql/utils.py in deco(*a, **kw)
43 def deco(*a, **kw):
44 try:
---> 45 return f(*a, **kw)
46 except py4j.protocol.Py4JJavaError as e:
47 s = e.java_exception.toString()
/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)
306 raise Py4JJavaError(
307 "An error occurred while calling 012.\n".
--> 308 format(target_id, ".", name), value)
309 else:
310 raise Py4JError(
Py4JJavaError: An error occurred while calling o172.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 1 times, most recent failure: Lost task 0.0 in stage 16.0 (TID 20, localhost): java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector
at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150)
at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141)
at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141)
at org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.apply(Unknown Source)
at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:51)
at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:49)
错误和数据被缩短。
显然，我不知道这是什么意思或如何解决它..
我正在尝试根据不同数据集上的示例制作一个 k-means 模型。需要 K-means 模型。
谢谢！
圣诞快乐！
【问题讨论】：
检查这个：***.com/questions/39012073/… 【参考方案1】：这是因为在 Spark 1.x 中 StandardScaler 不能用于转换 SparseVector withMean。此行为已在 Spark 2.0 中进行了修改，如果请求居中，向量将转换为 DenseVector。
在 Spark 1.x 中，您必须手动处理：
from pyspark.mllib.linalg import SparseVector, DenseVector, VectorUDT
from pyspark.sql.functions import udf
as_dense = udf(
lambda v: DenseVector(v.toArray()) if v is not None else None,
VectorUDT()
)
示例用法：
df = sc.parallelize([
(1, SparseVector(5, [0, 3], [1.0, -1.0]))
]).toDF(["id", "features"])
scaler = StandardScaler(
withMean=True, withStd=True, inputCol="features", outputCol="scaled_features"
)
scaler.fit(df).transform(df).show(1)
... ERROR Executor: Exception in task 6.0 in stage 31.0 (TID 68)
java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector
at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150)
df_dense = df.withColumn("features", as_dense("features"))
scaler.fit(df_dense).transform(df_dense).show(1)
+---+--------------------+--------------------+
| id| features| scaled_features|
+---+--------------------+--------------------+
| 1|[1.0,0.0,0.0,-1.0...|[0.0,0.0,0.0,0.0,...|
+---+--------------------+--------------------+
附带说明，您使用的重命名逻辑不正确且效率低下。如果要删除索引列select 就足够了：
ca1DF = sqlContext.read.load(...).select(
["user_account_id", "user_lifetime", ... "churn"]
)
【讨论】：
以上是关于Spark Python：标准缩放器错误“不支持...... SparseVector”的主要内容，如果未能解决你的问题，请参考以下文章