flink的伪分布式搭建

Posted 2022-02-06 健康平安的活着

一 flink的伪分布式搭建

1.1 执行架构图

    1.Flink 程序需要提交给 Job Client

    2. Job Client 将作业提交给 Job Manager

    3. Job Manager 负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的 Task Manage。

   4.Task Manager 启动一个线程以开始执行。 Task Manager 会向 Job Manager 报告状态更改。例如开始执行，正在进行或已完成。

   5.作业执行完成后，结果将发送回客户端（ Job Client ）

1.2 操作步骤

1.2.1 将flink安装包上传到服务器

1.2.2  解压

 1.2.3 启动

[root@localhost flink-1.6.1]# ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.localdomain.
Starting taskexecutor daemon on host localhost.localdomain.

1.2.4  查看进程

 1.2.5 页面访问

http://192.168.1.37:8081/

slot 在flink里面可以认为是资源组，Flink是通过将任务分成子任务并且将这些子任务分配到slot来并行执行程序。

1.2.6 测试

1.创建一个读取的文件

root@localhost servers]# touch flink_test
[root@localhost servers]# vi flink_test
[root@localhost servers]# 
2.编辑内容

 3.开始统计

[root@localhost flink-1.6.1]# bin/flink run  /root/export/servers/flink-1.6.1/examples/batch/WordCount.jar  --input /root/export/servers/flink_test        --output /root/export/servers/flink_data2
Starting execution of program
Program execution finished
Job with JobID 88bfa737c790bb730eb3b36c53ccfe91 has finished.
Job Runtime: 1604 ms
[root@localhost flink-1.6.1]# 
 

其中： flink_test 为输入的文件；flink_data2为输出的结果文件

4.页面查看

 点进去，可以查看详情信息

 查看flink_data2的输出结果：