Flink学习之环境搭建

Posted 2022-02-13 柳小葱

🌰 记得上一次写flink的博客还是在公司，又过去几个月，最近这段时间，被Flink的环境折磨的半死不活，但是，最终还是成功了，于是，就接着来到了flink的学习，接下来我将介绍flink的相关的内容,对往期内容感兴趣的小伙伴可以查看下面👇:

• hadoop专题: hadoop系列文章.
• spark专题: spark系列文章.
• flink专题: Flink系列文章.

🐷博主不会java，也不会scala，只会python和SQL，于是就准备学习Flink SQL 和 PyFlink，于是盯上了docker，在docker上部署Flink环境，有了流式计算，还有了流式数据源Kafka，一切安排妥当！

目录

• 1. docker部署
• • 1.1 被坑记录
  • 1.2 下载ubuntu系统安装docker
• 2. Flink部署
• • 2.1 这里我们先创建一个flink-demo文件夹：
  • 2.2 放入docker-compose.yml文件
  • 2.3 运行命令
  • 2.4 启动flink sql客户端
• 3. 总结
• 4. 参考文章

1. docker部署

1.1 被坑记录

我开始用的deepin系统和centos7的系统，安装docker，都是Linux版本过低，无法安装，于是，我就在我m1的macbook上安装docker，docker是arm64位的，可是运行镜像会出现警告信息，以及镜像启动不了的情况：

这里放上docker的一些资料：

• docker安装官网: 官网下载docker.
• docker镜像网站: 官方docker镜像.

1.2 下载ubuntu系统安装docker

下载ubuntu系统并安装docker，我下载的是ubuntu20，大家依照自己的喜好下载。

ubuntu系统下载: https://cn.ubuntu.com/download.

unbuntu安装docker: 菜鸟教程unbuntu安装docker.

输入docker出现以下内容就是安装成功了：

2. Flink部署

2.1 这里我们先创建一个flink-demo文件夹：

mkdir flink-demo

2.2 放入docker-compose.yml文件

在flink-demo文件夹中放入我们的docker-compose.yml文件，我们这个文件里有一些镜像配置：flink组件，kafka，ES，mysql，flink sql等。

文件下载地址，如果嫌麻烦，也可以评论区说一下，我就做个百度云链接了: docker-compose.yml.

2.3 运行命令

我们这里运行命令启动镜像

sudo docker-compose up -d

经过一系列下载之后就到了这一步：说明各个组件拉取成功。

2.4 启动flink sql客户端

组件安装成功后，输入如下命令开启flink sql客户端

docker-compose exec sql-client ./sql-client.sh

出现如下大松鼠就算是安装成功了：

3. 总结

本文主要是参考阿里云 Apache Flink中0基础学习flink的教程，有说的不明白的地方大家可以去:

• 网站链接: flink中文社区.

进行更加细致地学习。

4. 参考文章

1. 《Apache Flink 必知必会》
2. 《docker菜鸟教程》
3. 《Apache Flink 零基础入门》
4. 《Flink 基础教程》