从 scala TimeStampType 中提取值

Posted

技术标签:

【中文标题】从 scala TimeStampType 中提取值【英文标题】:Extract value from scala TimeStampType 【发布时间】:2015-05-29 23:26:51 【问题描述】:

我有一个从 hive 查询创建的 schemaRDD

    val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
    val rdd = sqlContext.sql("Select * from mytime")

我的 RDD 包含以下架构

    StructField(id,StringType,true)
    StructField(t,TimestampType,true)

我们有自己的自定义数据库,并希望将 TimestampType 与字符串相同。但我找不到提取值并将其保存为字符串的方法。

你能帮忙吗?谢谢!

【问题讨论】:

【参考方案1】:

如果您将查询更改为:

SELECT id, cast(t as STRING) from mytime

【讨论】:

以上是关于从 scala TimeStampType 中提取值的主要内容,如果未能解决你的问题,请参考以下文章

Spark SQL 的 Scala API - TimestampType - No Encoder found for org.apache.spark.sql.types.TimestampTyp

Spark DataFrame TimestampType - 如何从字段中获取年、月、日值?

PySpark 从 TimeStampType 列向 DataFrame 添加一列

从 ByteBuffer 中提取 Long (Java/Scala)

在 Play2 / Scala 中从内存中的 MultipartFormData 中提取文件

从scala中的json中提取数据