Spark2 DataFrame数据框常用操作之统计指标：mean均值，variance方差，stddev标准差，corr(Pearson相关系数)，skewness偏度，kurtosis峰度((代码
Posted 智能先行者
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark2 DataFrame数据框常用操作之统计指标：mean均值，variance方差，stddev标准差，corr(Pearson相关系数)，skewness偏度，kurtosis峰度((代码相关的知识，希望对你有一定的参考价值。
val df4=spark.sql("SELECT mean(age),variance(age),stddev(age),corr(age,yearsmarried),skewness(age),kurtosis(age) FROM Affairs")
df4.show
+--------+------------------+------------------+-----------------------+-----------------+--------------------+
|avg(age)| var_samp(age)| stddev_samp(age)|corr(age, yearsmarried)| skewness(age)| kurtosis(age)|
+--------+------------------+------------------+-----------------------+-----------------+--------------------+
| 34.0|173.33333333333334|13.165611772087667| 0.7456766124552038|0.965388004190285|-0.43417159763313595|
+--------+------------------+------------------+-----------------------+-----------------+--------------------+
以上是关于Spark2 DataFrame数据框常用操作之统计指标：mean均值，variance方差，stddev标准差，corr(Pearson相关系数)，skewness偏度，kurtosis峰度((代码的主要内容，如果未能解决你的问题，请参考以下文章
Spark2 DataFrame数据框常用操作之分析函数--排名函数row_number,rank,dense_rank,percent_rank
Spark2 DataFrame数据框常用操作之统计指标：mean均值，variance方差，stddev标准差，corr(Pearson相关系数)，skewness偏度，kurtosis峰度((代码
Spark2 加载保存文件，数据文件转换成数据框dataframe