镶木地板写入期间的 Spark ClosedChannelException 异常

Posted 2023-02-24

【中文标题】镶木地板写入期间的 Spark ClosedChannelException 异常

【英文标题】：Spark ClosedChannelException exception during parquet write

【发布时间】：2016-08-12 02:25:37

【问题描述】：

我们有这个庞大的遗留 sql 表，我们需要从中提取数据并将其推送到 s3。下面是我如何查询部分数据并写入输出。

  def writeTableInParts(tableName: String, numIdsPerParquet: Long, numPartitionsAtATime: Int, startFrom : Long = -1, endTo : Long = -1, filePrefix : String = s3Prefix) = 
    val minId : Long = if (startFrom > 0) startFrom else findMinCol(tableName, "id")
    val maxId : Long = if (endTo > 0) endTo else findMaxCol(tableName, "id")

    (minId until maxId by numIdsPerParquet).toList.sliding(numPartitionsAtATime, numPartitionsAtATime).toList.foreach(list => 
      list.map(start => 
          val end = math.min(start + numIdsPerParquet, maxId)

          sqlContext.read.jdbc(mysqlConStr,
            s"(SELECT * FROM $tableName WHERE id >= $start AND id < $end) as tmpTable",
            Map[String, String]())
        ).reduce((left, right) => 
          left.unionAll(right)
        )
        .write
        .parquet(s"$filePrefix/$tableName/$list.head-$list.last + numIdsPerParquet")
    )
  

这对许多不同的表格都有效，但无论出于何种原因，表格都会继续获得java.nio.channels.ClosedChannelException，无论我减少多少扫描窗口或大小。

基于this 的回答我想我的代码中某处有异常，但我不确定它会在哪里，因为它是一个相当简单的代码。如何进一步调试此异常？日志没有任何帮助，也没有揭示原因。

【参考方案1】：

问题是由于以下错误引起的，与火花无关...追查这个非常麻烦，因为火花不太擅长显示错误。该死……

'0000-00-00 00:00:00' can not be represented as java.sql.Timestamp error