流数据

Posted cschen588

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了流数据相关的知识,希望对你有一定的参考价值。

特征:

持续到达,数据量大,注重数据整体价值,数据顺序可能颠倒,丢失,实时计算,

海量,分布,实时,快速部署,可靠

linked in Kafka

spark streaming:微小批处理,模拟流计算,秒级响应

DStream 一系列RDD 的集合

支持批处理

技术图片

 

 技术图片

 

 技术图片

 

 创建文件流

技术图片

 

 10代表每10s启动一次流计算

textFileStream 定义了一个文件流数据源

 任务: 寻找并跑demo代码 搭建环境 压力测试

 

以上是关于流数据的主要内容,如果未能解决你的问题,请参考以下文章

流数据分析技术笔记1 流数据简介

Java IO流总结

Java学习笔记6.1.1 字节流 - 数据字节输入流与数据字节输出流

Io流中的其他流

Java中流-----个人总结心得

C# - 将数据写入流 + 使用另一个流读取数据