Flink伪分布式环境搭建及应用，Standlong（开发测试）

Posted 2022-11-11 淼淼_喵

🍬博主介绍
👨‍🎓 博主主页：喵的主页
✨主攻领域：【大数据】【java】【python】【面试分析】

Flink伪分布式，开发测试

• 一、 架构图
• 二、环境准备
• 三、下载安装包
• 四、 服务器规划
• 五、 安装步骤
• • 1.创建统一工作目录
  • 2. 下载 flink 安装包
  • 3. 上传Flink压缩包到指定目录
  • 4. 解压缩flink到 /export/server 目录
  • 5. 改名或创建软链接：方便后期升级
• 六、flink初体验（使用）
• • 1. 启动Flink
  • 2. 通过jps查看进程信息
  • 3. 访问web界面
  • 4. 官网提供案例的位置
  • 5. 运行官方案例
  • 6. 在浏览器查看job详情
  • 7. 查看job日志信息

---

一、 架构图

• 1. Flink程序需要提交程序给 JobClient
• 2. JobClient 将作业提交给 JobMananger
• 3. JobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManager
• 4. TaskManager 启动一个线程开始执行. TaskManager会向JobManager报告状态更改. 例如开始执行, 正在进行或已完成.
• 5. 作业完成后, 结果将发送回客户端. (JobClient)

Standlong 模式Flink的各个角色都是独立进程.

二、环境准备

• jdk1.8 及以上 [配置 JAVA_HOME环境变量]
• SSH免密码登录 [集群内节点之间免密码登录]

三、下载安装包

https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz

四、 服务器规划

角色	Master	Slave
服务器	node1	node1

五、 安装步骤

1.创建统一工作目录

mkdir -p /export/server   # 软件安装路径
mkdir -p /export/software # 数据存储路径
mkdir -p /export/data     #  安装包存放路径

2. 下载 flink 安装包

https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz

3. 上传Flink压缩包到指定目录

/export/software

4. 解压缩flink到 /export/server 目录

cd /export/software/
tar -zxf flink-1.14.0-bin-scala_2.12.tgz  -C /export/server/
cd /export/server/
ll | grep flink

5. 改名或创建软链接：方便后期升级

ln -s /export/server/flink-1.14.0/ /export/server/flink
cd /export/server/ && ll | grep flink

六、flink初体验（使用）

1. 启动Flink

cd /export/server/flink
./bin/start-cluster.sh

2. 通过jps查看进程信息

3. 访问web界面

http://node1:8081

4. 官网提供案例的位置

ll /export/server/flink/examples/

5. 运行官方案例

cd /export/server/flink
bin/flink run examples/batch/WordCount.jar

6. 在浏览器查看job详情

点击 job, 就可以查看详情

7. 查看job日志信息

ll /export/server/flink/log

**** client****.log	是客户端日志
**** standalonesession****.log	是主节点日志
**** taskexecutor****.log	是从节点日志

1.3.6.2.13.关闭flink

cd /export/server/flink
bin/stop-cluster.sh
jps