从 scala TimeStampType 中提取值
Posted
技术标签:
【中文标题】从 scala TimeStampType 中提取值【英文标题】:Extract value from scala TimeStampType 【发布时间】:2015-05-29 23:26:51 【问题描述】:我有一个从 hive 查询创建的 schemaRDD
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
val rdd = sqlContext.sql("Select * from mytime")
我的 RDD 包含以下架构
StructField(id,StringType,true)
StructField(t,TimestampType,true)
我们有自己的自定义数据库,并希望将 TimestampType 与字符串相同。但我找不到提取值并将其保存为字符串的方法。
你能帮忙吗?谢谢!
【问题讨论】:
【参考方案1】:如果您将查询更改为:
SELECT id, cast(t as STRING) from mytime
【讨论】:
以上是关于从 scala TimeStampType 中提取值的主要内容,如果未能解决你的问题,请参考以下文章
Spark SQL 的 Scala API - TimestampType - No Encoder found for org.apache.spark.sql.types.TimestampTyp
Spark DataFrame TimestampType - 如何从字段中获取年、月、日值?
PySpark 从 TimeStampType 列向 DataFrame 添加一列
从 ByteBuffer 中提取 Long (Java/Scala)