Linux虚拟机环境搭建JAVA安装flink安装

Posted 究极可爱怪

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux虚拟机环境搭建JAVA安装flink安装相关的知识,希望对你有一定的参考价值。

虚拟机环境搭建

    虚拟机环境搭建比较容易,网上教程很多,我常用的是ubantu18.04,资源链接为:​​https://pan.baidu.com/s/1ACDAwWqUi4Q9FSVCbtGDUQ​​。提取码:sdlh。

    进入后第一步安装VMware tools;再设置root密码:先sudo passwd,再输入设置的用户密码,再输入root密码,再确认,最后ok。su root进入root用户,进行软件更新以及ssh server的安装。

    安装成功之后要先使用命令“sudo apt-get update”再使用命令“sudo apt-get upgrade”。因为我习惯使用vim,所以直接安装它:sudo apt install vim。因为Linux环境很多时候需要使用ssh连接远程服务器,所以我们看ssh server是否开启,第一次一般都是没有这个东西的。

        查询命令:/etc/init.d/ssh status

   安装命令:sudo apt-get install openssh-server

   开启服务命令:systemctl restart  sshd

  这里我们需要先修改一些配置文件 sudo vim /etc/ssh/sshd_config,将#PermitRootLogin prohibit-password下添加一行“PermitRootLogin yes”。修改之后再使用命令:systemctl restart  sshd重启服务。

  一般到这个时候,虚拟机之间就可以连接了,如:ssh xxx.xxx.xxx.xxx

  Linux虚拟机环境搭建、JAVA安装、flink安装_java

 

    退出远程连接:exit

  Linux虚拟机环境搭建、JAVA安装、flink安装_vim_02

 

 

JAVA安装

    使用命令下载文件,使用命令解压缩,也可以使用“sudo apt install openjdk-8-jre-headless”安装。

    配置环境变量:sudo vim /etc/profile

    添加如下代码

#java
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    这里的jdk是我下载的java版本的软连接(ln -s jdk1.8 jdk),这样做的好处是可以方便以后版本更新,不用修改配置文件。

flink安装

    ​去官网下载需要安装的版本​。下载之后在系统里解压缩“tar -zxvf xxx.tar.gz或者tar -xvf xxx.tar.tgz”,然后先配置flink的环境变量。

    配置环境变量:sudo vim /etc/profile

    添加如下代码

#flink
export FLINK_HOME=/home/elfin/Flink_install/flink
export PATH=$PATH:$FLINK_HOME/bin

    注意路径每个人的不一样,一般大家喜欢放在 /usr/local/ 下,我这里是放在家目录下的用户目录中。可以修改用户目录下的 .bashrc文件,在其中添加一行:“source /etc/profile”。

    每个linux系统都需要进行配置,为了方便也可以先配置一个再同步相应数据(环境变量这些还是要一个一个配好的)。在配置flink之前,我们先设置计算设备别名与免密登录。

        设置设备别名:

        192.158.144.172 flink_master
        192.158.144.178 flink_slave

 

        免密登录:

        (1) 安装ssh-server:sudo apt-get install openssh-server 这里我的机器不能连接远程机器,所有需要安装ssh-sever。完成之后可以使用“ssh localhost”验证是否可以连接远程服务器。

        (2) 配置文件:/etc/ssh/sshd_config   添加如下内容

1 # 启用 RSA 认证
2 RSAAuthentication yes
3 # 启用公钥私钥配对认证方式
4 PubkeyAuthentication yes
5 # 公钥文件路径
6 AuthorizedKeysFile .ssh/authorized_keys

   注意上面的密钥文件是不存在的,所以我们先对每个节点生成密钥,再将公钥放到authorized_keys中。

   (3) 对每个机器生成密钥文件,默认生成到 /.ssh 下

        命令:ssh-keygen -t rsa -P

                如图所示,生成了密钥文件 id_rsa、id_rsa.pub

      Linux虚拟机环境搭建、JAVA安装、flink安装_vim_03

 

      再生成一个汇总的公钥文件:authorized_keys

   (4) 将elfin_keys的内容汇总

      master的内容追加到slave

      参考链接:SSH免密登录

    配置文件

    配置flink需要进入conf文件夹,即:/home/elfin/Flink_install/flink/conf,此文件夹与bin文件夹同级,子文件如下:

        Linux虚拟机环境搭建、JAVA安装、flink安装_java_04

 

     这里面我们主要是要配置三个文件:主配置文件flink-conf.yaml、masters、slaves。其中log4j、logback见名知意,这些都是配置日志的,暂时先不管它。

    flink-conf.yaml配置

        我们主要修改jobmanager.heap.size、taskmanager.heap.size、taskmanager.numberOfTaskSlots、parallelism.default;我在这里将slot槽修改为2.

        Linux虚拟机环境搭建、JAVA安装、flink安装_flink_05

 

 

    masters配置

        主要是配置Job Managers,可以理解为某个项目配置。

        这里我选择在本地作为master,所以默认为localhost:8081即可

    slaves配置

        主要是配置Task Managers,可以理解为项目的任务做配置。命令:sudo vim slaves

        配置你的slaves的IP或者主机名,如:

            192.158.144.178
            192.158.144.172

     flink-slave1

     flink-slave2

    配置好之后你就可以启动你的集群了,这里我们使用自带的脚本。命令:./bin/start-cluster.sh (这里的bin目录为flink目录中的bin),启动之后如图所示:

  Linux虚拟机环境搭建、JAVA安装、flink安装_vim_06

       这里的master1、slave1都作为一个task节点。 登录flink-master:8081可以看到:

  Linux虚拟机环境搭建、JAVA安装、flink安装_vim_07

 

 

    测试flink自带的jar包

  先监控slave的9000端口:nc -lp 9000

  再运行jar包:flink run ./examples/streaming/SocketWindowWordCount.jar --hostname flink-slave --port 9000

  运行结果:

  Linux虚拟机环境搭建、JAVA安装、flink安装_java_08

 

  Linux虚拟机环境搭建、JAVA安装、flink安装_flink_09

 

 

  slave节点输入数据,master端口显示:

  Linux虚拟机环境搭建、JAVA安装、flink安装_flink_10

 

  Linux虚拟机环境搭建、JAVA安装、flink安装_flink_11

 

清澈的爱,只为中国

以上是关于Linux虚拟机环境搭建JAVA安装flink安装的主要内容,如果未能解决你的问题,请参考以下文章

Linux环境搭建:2. 安装Ubuntu虚拟机

Flink安装及实例教程

<Linux环境搭建>虚拟机(VMware Workstation+CentOS7)安装及环境配置教程

Linux环境搭建 | 手把手教你安装Linux虚拟机

虚拟机linux怎么查看交叉编译环境

大数据虚拟机集群搭建