flink读取mongodb数据源批处理全量获取实践

Posted 2022-11-24 张小凡vip

本章记录 flink读取mongodb数据源的实践，主要用于 全量 批处理获取mongodb的数据。

我们在前面的文章中已经学习了如何写一个简单的flink-job项目打包jar包运行

详情参考

编写flink任务jar包–helloworld

我们在flink-job项目基础上新增读取mongodb数据源的功能。

引入jar包

使用官方driver连接器

            <dependency>
                <groupId>org.mongodb</groupId>
                <artifactId>mongodb-driver-sync</artifactId>
                <version>4.5.0</version>
            </dependency>

完整pom.xml如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.