Spark Streaming 1.6.0 中 Checkpointing/WAL 的可靠性问题

Posted

技术标签:

【中文标题】Spark Streaming 1.6.0 中 Checkpointing/WAL 的可靠性问题【英文标题】:Reliability issues with Checkpointing/WAL in Spark Streaming 1.6.0 【发布时间】:2016-04-25 01:29:37 【问题描述】:

说明

我们在 Scala 中有一个 Spark Streaming 1.5.2 应用程序,它从 Kinesis Stream 读取 JSON 事件,进行一些转换/聚合并将结果写入不同的 S3 前缀。当前批处理间隔为 60 秒。我们每秒有 3000-7000 个事件。我们正在使用检查点来保护我们免于丢失聚合。

它已经运行了一段时间,从异常中恢复,甚至集群重启。我们最近重新编译了 Spark Streaming 1.6.0 的代码,只更改了 build.sbt 文件中的库依赖项。在 Spark 1.6.0 集群中运行代码几个小时后,我们注意到以下几点:

    “输入速率”和“处理时间”波动性在 1.6.0 中大幅增加(参见下面的屏幕截图)。 每隔几个小时,在写入记录时会抛出一个“异常”:BlockAdditionEvent ... 到 WriteAheadLog。 java.util.concurrent.TimeoutException: Futures timed out after [5000 milliseconds]” 异常(请参阅下面的完整堆栈跟踪)与特定批次(分钟)下降到 0 事件/秒同时发生。

经过一番挖掘,我认为第二个问题看起来与这个Pull Request 有关。 PR 的最初目标:“当使用 S3 作为 WAL 的目录时,写入时间太长。当多个接收器向 ReceiverTracker 发送 AddBlock 事件时,驱动程序很容易出现瓶颈。此 PR 在 ReceivedBlockTracker 中添加事件批处理,以便接收者不会被驱动程序阻塞太久。”

我们在 Spark 1.5.2 的 S3 中进行检查点,不存在性能/可靠性问题。我们已经在 S3 和本地 NAS 中测试了 Spark 1.6.0 中的检查点,在这两种情况下我们都收到了这个异常。看起来当检查点一个批次的时间超过 5 秒时,就会出现此异常,我们检查了该批次的事件是否永远丢失。

问题

Spark Streaming 1.6.0 中的“输入速率”和“处理时间”波动是否会增加?是否有任何已知的改进方法?

你知道除了这两个之外的任何解决方法吗?:

1) 保证检查点接收器写入所有文件的时间少于 5 秒。根据我的经验,你不能保证使用 S3,即使是小批量。对于本地 NAS,这取决于谁负责基础设施(云提供商很难)。

2) 增加 spark.streaming.driver.writeAheadLog.batchingTimeout 属性值。

您是否希望在所描述的场景中丢失任何事件?我认为如果批量检查点失败,则不会增加分片/接收器序列号,并且会在稍后重试。

Spark 1.5.2 统计信息 - 屏幕截图

Spark 1.6.0 统计信息 - 屏幕截图

全栈跟踪

16/01/19 03:25:03 WARN ReceivedBlockTracker: Exception thrown while writing record: BlockAdditionEvent(ReceivedBlockInfo(0,Some(3521),Some(SequenceNumberRanges(SequenceNumberRange(StreamEventsPRD,shardId-000000000003,49558087746891612304997255299934807015508295035511636018,49558087746891612304997255303224294170679701088606617650), SequenceNumberRange(StreamEventsPRD,shardId-000000000004,49558087949939897337618579003482122196174788079896232002,49558087949939897337618579006984380295598368799020023874), SequenceNumberRange(StreamEventsPRD,shardId-000000000001,49558087735072217349776025034858012188384702720257294354,49558087735072217349776025038332464993957147037082320914), SequenceNumberRange(StreamEventsPRD,shardId-000000000009,49558088270111696152922722880993488801473174525649617042,49558088270111696152922722884455852348849472550727581842), SequenceNumberRange(StreamEventsPRD,shardId-000000000000,49558087841379869711171505550483827793283335010434154498,49558087841379869711171505554030816148032657077741551618), SequenceNumberRange(StreamEventsPRD,shardId-000000000002,49558087853556076589569225785774419228345486684446523426,49558087853556076589569225789389107428993227916817989666))),BlockManagerBasedStoreResult(input-0-1453142312126,Some(3521)))) to the WriteAheadLog.
java.util.concurrent.TimeoutException: Futures timed out after [5000 milliseconds]
    at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)
    at scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)
    at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)
    at scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53)
    at scala.concurrent.Await$.result(package.scala:107)
    at org.apache.spark.streaming.util.BatchedWriteAheadLog.write(BatchedWriteAheadLog.scala:81)
    at org.apache.spark.streaming.scheduler.ReceivedBlockTracker.writeToLog(ReceivedBlockTracker.scala:232)
    at org.apache.spark.streaming.scheduler.ReceivedBlockTracker.addBlock(ReceivedBlockTracker.scala:87)
    at org.apache.spark.streaming.scheduler.ReceiverTracker.org$apache$spark$streaming$scheduler$ReceiverTracker$$addBlock(ReceiverTracker.scala:321)
    at org.apache.spark.streaming.scheduler.ReceiverTracker$ReceiverTrackerEndpoint$$anonfun$receiveAndReply$1$$anon$1$$anonfun$run$1.apply$mcV$sp(ReceiverTracker.scala:500)
    at org.apache.spark.util.Utils$.tryLogNonFatalError(Utils.scala:1230)
    at org.apache.spark.streaming.scheduler.ReceiverTracker$ReceiverTrackerEndpoint$$anonfun$receiveAndReply$1$$anon$1.run(ReceiverTracker.scala:498)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

源代码提取

...
     // Function to create a new StreamingContext and set it up
  def setupContext(): StreamingContext = 
    ...
    // Create a StreamingContext
    val ssc = new StreamingContext(sc, Seconds(batchIntervalSeconds))

    // Create a Kinesis DStream
    val data = KinesisUtils.createStream(ssc,
      kinesisAppName, kinesisStreamName,
      kinesisEndpointUrl, RegionUtils.getRegionByEndpoint(kinesisEndpointUrl).getName(),
      InitialPositionInStream.LATEST, Seconds(kinesisCheckpointIntervalSeconds),
      StorageLevel.MEMORY_AND_DISK_SER_2, awsAccessKeyId, awsSecretKey)
...
    ssc.checkpoint(checkpointDir)

    ssc
  


  // Get or create a streaming context.
  val ssc = StreamingContext.getActiveOrCreate(checkpointDir, setupContext)

  ssc.start()
  ssc.awaitTermination()

【问题讨论】:

有趣。您是否尝试减小批量大小?如何防止生产者重试? 如果我们没有一些输出限制,这将有所帮助:我们正在写入 S3,不同的处理 RDD。随着工人的增加,加工和输出时间减少,但成本也增加。使用每个工作人员的分区比率会有所帮助。调整 spark.streaming.blockInterval 会有所帮助,因为它允许您间接控制分区的数量,而不会导致您在 DStream 级别使用 repartition() 获得重新洗牌。在 RDD 级别上, coalesce() 也有帮助。 “防止生产者重试”是什么意思?在输出上强制执行一次性交付语义以防止重复? 【参考方案1】:

遵循zero323关于发布我的评论作为答案的建议:

增加 spark.streaming.driver.writeAheadLog.batchingTimeout 解决了检查点超时问题。我们是在确保我们有足够的空间之后才这样做的。我们已经对其进行了一段时间的测试。所以我只建议在仔细考虑后增加它。

详情

我们在 $SPARK_HOME/conf/spark-defaults.conf 中使用了这 2 个设置:

spark.streaming.driver.writeAheadLog.allowBatching true spark.streaming.driver.writeAheadLog.batchingTimeout 15000

最初,我们只将 spark.streaming.driver.writeAheadLog.allowBatching 设置为 true。

在更改之前,我们在测试环境中重现了问题中提到的问题(“...ReceivedBlockTracker: Exception throw while writing record...”)。它每隔几个小时发生一次。更改后,问题消失了。在投入生产之前,我们运行了几天。

我们发现getBatchingTimeout() method of the WriteAheadLogUtils 类的默认值为 5000 毫秒,如下所示:

def getBatchingTimeout(conf: SparkConf): Long = 
    conf.getLong(DRIVER_WAL_BATCHING_TIMEOUT_CONF_KEY, defaultValue = 5000)

【讨论】:

以上是关于Spark Streaming 1.6.0 中 Checkpointing/WAL 的可靠性问题的主要内容,如果未能解决你的问题,请参考以下文章

Spark Streaming源码解读之数据清理内幕彻底解密

深入理解spark streaming

Spark 定制版:007~Spark Streaming源码解读之JobScheduler内幕实现和深度思考

流处理 —— Spark Streaming中的操作函数

面试题:Flink反压机制及与Spark Streaming的区别

面试题:Flink反压机制及与Spark Streaming的区别