Beam从零开始

Posted 爱国者002

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Beam从零开始相关的知识，希望对你有一定的参考价值。

网上看了别人都在谈Beam，你说咱们作为技术人员技术也得紧跟着时代不是，所以也开始利用业余时间研究Beam。咱不是大神，不能啥都一看就会，所以一天一天来，这个也就作为笔记吧。废话不多说，进入主题，按照老规矩，从官网入手。


其实Beam官网目前做的不是很丰满，不过好在按照步骤进行，可以接受。


Beam是什么呢？英文中Beam是光束的意思，官方对Beam的解释是：Apache Beam是一个开源的统一的编程模型（记住，他是个模型而已），我们可以使用它来创建数据处理管道（核心是管道）。我们首先要定义一个程序，使用开源的BeamSDK来定义管道。然后管道由Beam支持的分布式处理后端之一执行：Apache Apex，Apache Flink，Apache Spark，Google Cloud Dataflow。


Beam对于尴尬并行数据处理任务特别有用,其中问题可以被分解为可以独立和并行处理的许多较小的数据束。我们同样可以使用Beam来提取，变换和加载(ETL)任务和纯数据集成。这些任务对于不同存储介质和数据源之间移动数据，将数据转化成理想格式，或将数据加载到新的系统上有很大的好处。


Beam管道运行器将我们定义的处理管道和程序转化为与我们选择的分布式处理后端兼容的API。当我们运行Beam程序的时候，我们需要为执行管道的后端指定适当的运行器（Runner）。


好了，上面就是简短的理论基础，下面开始我们经典的wordcount环节。不过我打算绕过官方的QuickStart环节，因为这个真的没啥意思，我们直接自己手动创建项目然后开始学习。


我们从Minimal WordCount开始说起，下面我简称：MW。MW演示了一个可以从文本中读取的管道。应用转换来对单词进行标记和计数，并将结果写入到输出文件中。下面是详细步骤：


首先我们创建一个maven项目，如图：



然后在pom文件中加入我们的依赖：


<dependency>
    <groupId>org.apache.beam</groupId>
    <artifactId>beam-sdks-java-core</artifactId>
    <version>0.4.0</version>
</dependency>

接着创建我们的第一个类：Day01，然后在其中创建main方法，那么到此我们的准备工作完毕。下面开始编写代码：


Creating the Pipeline