如何从 csv 文件中以自定义格式读取时间?

Posted

技术标签:

【中文标题】如何从 csv 文件中以自定义格式读取时间?【英文标题】:How to read time in custom format from csv file? 【发布时间】:2017-09-20 05:55:02 【问题描述】:

我正在解析一个 csv 文件,其数据为:

2016-10-03, 18.00.00, 2, 6

当我读取文件创建架构如下:

StructType schema = DataTypes.createStructType(Arrays.asList(
                DataTypes.createStructField("Date", DataTypes.DateType, false),
                DataTypes.createStructField("Time", DataTypes.TimestampType, false),
                DataTypes.createStructField("CO(GT)", DataTypes.IntegerType, false),
                DataTypes.createStructField("PT08.S1(CO)", DataTypes.IntegerType, false)))

Dataset<Row> df = spark.read().format("csv").schema(schema).load("src/main/resources/AirQualityUCI/sample.csv");

它产生以下错误:

Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.IllegalArgumentException
    at java.sql.Date.valueOf(Unknown Source)
    at org.apache.spark.sql.catalyst.util.DateTimeUtils$.stringToTime(DateTimeUtils.scala:137)

感觉是时间格式错误。有哪些方法可以将它们转换为特定格式或更改为StructType 的正确含义?

我期望的格式是 hh:mm:ss,因为它有助于通过 spark sql 通过连接列将其转换为时间戳格式。

2016-10-03, 18:00:00, 2, 6

【问题讨论】:

与***.com/questions/46295879/…重复 【参考方案1】:

如果您将日期和时间都读取为字符串,那么您可以轻松地将它们合并并转换为时间戳。您无需更改“。”到时间列中的“:”,因为可以在创建时间戳时指定格式。 Scala 中的解决方案示例:

val df = Seq(("2016-10-03", "00.00.17"),("2016-10-04", "00.01.17"))
  .toDF("Date", "Time")

val df2 = df.withColumn("DateTime", concat($"Date", lit(" "), $"Time"))
  .withColumn("Timestamp", unix_timestamp($"DateTime", "yyyy-MM-dd HH.mm.ss"))

这会给你:

+----------+--------+-------------------+----------+
|      Date|    Time|           DateTime| Timestamp|
+----------+--------+-------------------+----------+
|2016-10-03|00.00.17|2016-10-03 00.00.17|1475424017|
|2016-10-04|00.01.17|2016-10-04 00.01.17|1475510477|
+----------+--------+-------------------+----------+

当然,如果您愿意,您仍然可以将时间列转换为使用“:”而不是“.”。可以使用regexp_replace

df.withColumn("Time2", regexp_replace($"Time", "\\.", ":"))

如果您在转换为时间戳之前执行此操作,则需要更改上面指定的格式。

【讨论】:

以上是关于如何从 csv 文件中以自定义格式读取时间?的主要内容,如果未能解决你的问题,请参考以下文章

如何避免在 OpenERP 7 中以自定义形式显示字段?

如何在顺风中以自定义高度居中网格行中的元素?

以自定义尺寸阅读图库视频

从 QTime 继承以自定义时间格式

如何强制Python XlsxWriter以自定义格式写入单元格

如何以自定义 json 格式返回数据?