如何增加火花流接收器
Posted
技术标签:
【中文标题】如何增加火花流接收器【英文标题】：How to increase spark streaming receivers 【发布时间】：2015-06-06 18:03:07 【问题描述】：我的 spark 流应用程序使用
监视目录文件流。
如何增加接收者的数量？？
【问题讨论】：
【参考方案1】：监控目录没有其他 Spark Streaming 接收器面临的相同接收器挑战。由于它是一个文件流，Spark 能够使用工作人员直接从文件中读取的标准机制。根据编程指南“每个输入 DStream（除了文件流，本节稍后讨论）都与一个接收器（Scala doc，Java doc）对象相关联，该对象从源接收数据并将其存储在 Spark 的内存中以进行处理。”所以这不用担心:)
【讨论】：
以上是关于如何增加火花流接收器的主要内容，如果未能解决你的问题，请参考以下文章