scala spark dataframe 修改字段类型
Posted wuzaipei
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scala spark dataframe 修改字段类型相关的知识,希望对你有一定的参考价值。
package classifierAlg import config.conf.{sc, spark_session} import config.conf.spark_session.implicits._ import org.apache.spark.sql.functions._ import org.apache.spark.sql.types._ import org.apache.spark.sql.{Column, DataFrame} object euclideanDist { def main(args: Array[String]): Unit = { val path:String = "data/irsdf/part-00000-ca2d6ce7-bcd0-4c24-aba9-e8cb01dcc04c-c000.csv" val df: DataFrame = spark_session.read.csv(path).toDF("ft1","ft2","ft3","ft4","label") val cols: Array[String] = df.columns val n: Int = cols.length // val colNames : Array[String] = df.schema.fieldNames val colsd: Array[Column] = cols.map(f => df(f).cast(DoubleType)) val df2: DataFrame = df.select(colsd: _*) df2.printSchema() } }
以上是关于scala spark dataframe 修改字段类型的主要内容,如果未能解决你的问题,请参考以下文章
使用 Scala 将列分配给 Spark Dataframe 中的另一列
Spark将DataFrame数据sftp到指定机器(scala)
Spark (Scala) - 在 DataFrame 中恢复爆炸