大数据08 流计算(高速 毫秒级)
Posted 神之一招
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据08 流计算(高速 毫秒级)相关的知识，希望对你有一定的参考价值。
静态数据：比如数据仓库中的数据, 类似三峡水库中的水. (数据挖掘, OLAP 分析工具)
流数据: 网络监控, 传感检测, 大量的, 流式的数据(不断的产生, 源源不断的到达). 比如 PM2.5 的检测， 这种需要实时的监控和处理(分析).
流数据的特性
推送的方式: 实时查询的结果
流计算应用场景
电子商务网站, 根据用户输入, 实时分析, 然后推荐给用户分析结果.
实时交通: 实时的分析交通的情况, 给出分析导航建议.
Storm 毫秒级架构 (免费开源)
Topology : 就是一个 Job. 每次编写的组件, 就是以Topology 来执行, 而且Topology 可以并行执行.
Spark 本身是面向批处理的, Spark Stream 就是通过把数据按照1秒为时间单位把数据分成一段一段的, 然后把每一个小段按照批处理的方式进行. 每一个小段就是一个RDD.
Storm 程序
单词统计为例子
以上是关于大数据08 流计算(高速 毫秒级)的主要内容，如果未能解决你的问题，请参考以下文章
Serverless Streaming：毫秒级流式大文件处理探秘