Apache Beam 处理文件

Posted 2022-03-10 MicroStone123

今天我们介绍了如何使用pipeline在 Apache Beam 中的文件中读取、写入数据，其中“Employees.csv”文件被读取/过滤/写入新文件。

介绍

本文通过适当的pipeline示例解释了如何在Apache Beam中读取和写入文件中的数据。从文件中读取数据是通过“ReadFromText”转换完成的，写入新文件是通过“WriteToText”转换完成的。开始我们解释了如何从文件中读取数据以及如何写入文件，在、后半部通过创建一个pipeline，其中读取“Employees.csv”文件，根据年龄过滤，提取员工的名字，姓氏和年龄pipeline入新文件。总体而言，pipeline如下所示：

从文件中读取

在本文中，我们使用来自数据源的文件，我们下载了一个 100 条记录文件并将其命名为“Employees.csv”，通过“ReadFromText”将从磁盘读取文件。下面的代码展示了相同的内容：

输出

写入文件

“WriteToText”转换用于将数据写入文件，下面的程序从文件中读取数据并写入“out.csv”文件。

输出

pipeline

pipeline代码包含两个函数，一个用于过滤员工年龄大于 40 的行，第二个用于仅映射员工的名字、姓氏和年龄。

在这两个函数中，我们都基于索引访问记录。完整的流程代码如下：

生成文件的内容

概括

在文章中，我们探讨了如何从文件中读取、写入数据，我们还解释了执行过滤、映射数据并将其写入新文件的完整pipeline代码。