Linux虚拟机环境搭建JAVA安装flink安装

Posted 2022-05-31 究极可爱怪

虚拟机环境搭建

    虚拟机环境搭建比较容易，网上教程很多，我常用的是ubantu18.04，资源链接为：​​https://pan.baidu.com/s/1ACDAwWqUi4Q9FSVCbtGDUQ​​。提取码：sdlh。

    进入后第一步安装VMware tools；再设置root密码：先sudo passwd，再输入设置的用户密码，再输入root密码，再确认，最后ok。su root进入root用户，进行软件更新以及ssh server的安装。

    安装成功之后要先使用命令“sudo apt-get update”再使用命令“sudo apt-get upgrade”。因为我习惯使用vim，所以直接安装它：sudo apt install vim。因为Linux环境很多时候需要使用ssh连接远程服务器，所以我们看ssh server是否开启，第一次一般都是没有这个东西的。

        查询命令：/etc/init.d/ssh status

　　 安装命令：sudo apt-get install openssh-server

　　 开启服务命令：systemctl restart  sshd

　　这里我们需要先修改一些配置文件 sudo vim /etc/ssh/sshd_config，将#PermitRootLogin prohibit-password下添加一行“PermitRootLogin yes”。修改之后再使用命令：systemctl restart  sshd重启服务。

　　一般到这个时候，虚拟机之间就可以连接了，如：ssh xxx.xxx.xxx.xxx

　　

 

 　  退出远程连接：exit

　　

 

 

JAVA安装

    使用命令下载文件，使用命令解压缩，也可以使用“sudo apt install openjdk-8-jre-headless”安装。

    配置环境变量：sudo vim /etc/profile

    添加如下代码

#java
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    这里的jdk是我下载的java版本的软连接(ln -s jdk1.8 jdk)，这样做的好处是可以方便以后版本更新，不用修改配置文件。

flink安装

    ​​去官网下载需要安装的版本​​。下载之后在系统里解压缩“tar -zxvf xxx.tar.gz或者tar -xvf xxx.tar.tgz”，然后先配置flink的环境变量。

    配置环境变量：sudo vim /etc/profile

    添加如下代码

#flink
export FLINK_HOME=/home/elfin/Flink_install/flink
export PATH=$PATH:$FLINK_HOME/bin

    注意路径每个人的不一样，一般大家喜欢放在 /usr/local/ 下，我这里是放在家目录下的用户目录中。可以修改用户目录下的 .bashrc文件，在其中添加一行：“source /etc/profile”。

    每个linux系统都需要进行配置，为了方便也可以先配置一个再同步相应数据(环境变量这些还是要一个一个配好的)。在配置flink之前，我们先设置计算设备别名与免密登录。

        设置设备别名：

        192.158.144.172 flink_master
        192.158.144.178 flink_slave

 

        免密登录：

        (1) 安装ssh-server：sudo apt-get install openssh-server 这里我的机器不能连接远程机器，所有需要安装ssh-sever。完成之后可以使用“ssh localhost”验证是否可以连接远程服务器。

        (2) 配置文件：/etc/ssh/sshd_config   添加如下内容

1 # 启用 RSA 认证
2 RSAAuthentication yes
3 # 启用公钥私钥配对认证方式
4 PubkeyAuthentication yes
5 # 公钥文件路径
6 AuthorizedKeysFile .ssh/authorized_keys

　　 注意上面的密钥文件是不存在的，所以我们先对每个节点生成密钥，再将公钥放到authorized_keys中。

　　 (3) 对每个机器生成密钥文件，默认生成到 /.ssh 下

        命令：ssh-keygen -t rsa -P

                如图所示，生成了密钥文件 id_rsa、id_rsa.pub

　　　　  

 

 　　　　 再生成一个汇总的公钥文件：authorized_keys

　　 (4) 将elfin_keys的内容汇总

　　　　  master的内容追加到slave

  　　　　参考链接：SSH免密登录

    配置文件

    配置flink需要进入conf文件夹，即：/home/elfin/Flink_install/flink/conf，此文件夹与bin文件夹同级，子文件如下：

        

 

     这里面我们主要是要配置三个文件：主配置文件flink-conf.yaml、masters、slaves。其中log4j、logback见名知意，这些都是配置日志的，暂时先不管它。

    flink-conf.yaml配置

        我们主要修改jobmanager.heap.size、taskmanager.heap.size、taskmanager.numberOfTaskSlots、parallelism.default；我在这里将slot槽修改为2.

        

 

 

    masters配置

        主要是配置Job Managers，可以理解为某个项目配置。

        这里我选择在本地作为master，所以默认为localhost:8081即可

    slaves配置

        主要是配置Task Managers，可以理解为项目的任务做配置。命令：sudo vim slaves

        配置你的slaves的IP或者主机名，如：

            192.158.144.178
            192.158.144.172

　　　  flink-slave1

　　　  flink-slave2

    配置好之后你就可以启动你的集群了，这里我们使用自带的脚本。命令：./bin/start-cluster.sh （这里的bin目录为flink目录中的bin），启动之后如图所示：

　　

       这里的master1、slave1都作为一个task节点。 登录flink-master:8081可以看到：

　　

 

 

    测试flink自带的jar包：

　　先监控slave的9000端口：nc -lp 9000

　　再运行jar包：flink run ./examples/streaming/SocketWindowWordCount.jar --hostname flink-slave --port 9000

　　运行结果：

　　

 

　　

 

 

　　slave节点输入数据，master端口显示：

　　

 

　　

 

清澈的爱，只为中国