hadoop生态搭建(3节点)-12.rabbitmq配置
Posted zcf5522
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop生态搭建(3节点)-12.rabbitmq配置相关的知识,希望对你有一定的参考价值。
# 安装 需要相关包
# ==================================================================node1 node2 node3
yum install -y gcc gcc-c++ zlib zlin-devel perl ncurses-devel
# 安装 openssl
# ==================================================================node1
scp -r ~/openssl-1.1.0g.tar.gz node2:~/ scp -r ~/openssl-1.1.0g.tar.gz node3:~/
# ==================================================================node1 node2 node3
tar -zvxf ~/openssl-1.1.0g.tar.gz cd openssl-1.1.0g ./config --prefix=/usr/local/openssl # 修改Makefile vi Makefile #CFLAG= -DOPENSSL_THREADS CFLAG= -fPIC -DOPENSSL_THREADS # 执行执行 make && make install rm -rf ~/openssl-1.1.0g.tar.gz rm -rf ~/openssl-1.1.0g
# 安装 erlang
# ==================================================================node1
scp -r ~/otp_src_20.3.tar.gz node2:~/ scp -r ~/otp_src_20.3.tar.gz node3:~/
# ==================================================================node1 node2 node3
cd ~ tar -xf ~/otp_src_20.3.tar.gz mkdir /usr/local/erlang cd otp_src_20.3 # 配置安装路径编译代码 ./configure --prefix=/usr/local/erlang --without-javac --with-ssl=/usr/local/openssl # 执行编译结果 make && make install # 完成后进入/usr/local/erlang查看执行结果 ls /usr/local/erlang rm -rf ~/otp_src_20.3.tar.gz rm -rf ~/otp_src_20.3 # 环境变量 vi /etc/profile # 在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下添加 export JAVA_HOME=/usr/java/jdk1.8.0_111 export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.12 export HADOOP_HOME=/usr/local/hadoop-2.7.6 export mysql_HOME=/usr/local/mysql export HBASE_HOME=/usr/local/hbase-1.2.4 export HIVE_HOME=/usr/local/hive-2.1.1 export SCALA_HOME=/usr/local/scala-2.12.4 export KAFKA_HOME=/usr/local/kafka_2.12-0.10.2.1 export FLUME_HOME=/usr/local/flume-1.8.0 export SPARK_HOME=/usr/local/spark-2.3.0 export STORM_HOME=/usr/local/storm-1.1.0 export ERLANG_HOME=/usr/local/erlang export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MYSQL_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$KAFKA_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$STORM_HOME/bin:$ERLANG_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native # 使环境变量生效 cd ~ source /etc/profile # 查看配置结果 echo $ERLANG_HOME cd $ERLANG_HOME erl # 退出 > halt().
# 安装 rabbitmq
# ==================================================================node1
# 解压rabbitmq,官方给的包是xz压缩包,所以需要使用xz命令
cd ~ xz -d ~/rabbitmq-server-generic-unix-3.7.5.tar.xz #xz解压后得到.tar包,再用tar命令解压 tar -xvf rabbitmq-server-generic-unix-3.7.5.tar -C /usr/local rm -rf ~/rabbitmq-server-generic-unix-3.7.5.tar
# 环境变量
# ==================================================================node1 node2 node3
vi /etc/profile # 在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下添加 export JAVA_HOME=/usr/java/jdk1.8.0_111 export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.12 export HADOOP_HOME=/usr/local/hadoop-2.7.6 export MYSQL_HOME=/usr/local/mysql export HBASE_HOME=/usr/local/hbase-1.2.4 export HIVE_HOME=/usr/local/hive-2.1.1 export SCALA_HOME=/usr/local/scala-2.12.4 export KAFKA_HOME=/usr/local/kafka_2.12-0.10.2.1 export FLUME_HOME=/usr/local/flume-1.8.0 export SPARK_HOME=/usr/local/spark-2.3.0 export STORM_HOME=/usr/local/storm-1.1.0 export ERLANG_HOME=/usr/local/erlang export RABBITMQ_HOME=/usr/local/rabbitmq_server-3.7.5 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MYSQL_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$KAFKA_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$STORM_HOME/bin:$ERLANG_HOME/bin:$RABBITMQ_HOME/ebin:$RABBITMQ_HOME/sbin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
# ==================================================================node1
# 使环境变量生效 source /etc/profile # 查看配置结果 echo $RABBITMQ_HOME scp -r $RABBITMQ_HOME node2:/usr/local/ scp -r $RABBITMQ_HOME node3:/usr/local/
# ==================================================================node2 node3
# 使环境变量生效 source /etc/profile # 查看配置结果 echo $RABBITMQ_HOME
# 高并发设置
# ==================================================================node1 node2 node3
# 调整可打开文件/文件描述符数目(高并发支持) # 调整系统限制 vi /etc/sysctl.conf fs.file-max = 100000 # 使设置生效 sysctl -p # 查看系统限制 sysctl fs.file-max # 调整用户限制 vi /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 shutdown -h now # 快照 rabbitmq集群前
# ==================================================================node1 node2 node3
# 在后台启动Rabbit rabbitmq-server -detached # 安装web插件管理界面 # ==================================================================安装 rabbitmq_management插件 rabbitmq-plugins enable rabbitmq_management # ==================================================================安全认证 # 添加用户(用户名 admin 密码 Rabbitmq*123456 ) rabbitmqctl add_user admin Rabbitmq*123456 # 设置用户角色(设置admin用户为管理员角色) rabbitmqctl set_user_tags admin administrator # 设置用户权限(设置admin用户配置、写、读的权限) rabbitmqctl set_permissions -p / admin ".*" ".*" ".*" # 删除用户(删除guest用户) rabbitmqctl delete_user guest # 注意:rabbitmq从3.3.0开始禁止使用guest/guest权限通过除localhost外的访问。 # 创建和赋角色完成后查看并确认 rabbitmqctl list_users # 查看状态 rabbitmqctl status # 查看 admin 用户的权限 rabbitmqctl list_user_permissions admin # 浏览器输入地址:http://node1:15672/ # 用户名密码: admin/Rabbitmq*123456 # 浏览器输入地址:http://node2:15672/ # 用户名密码: admin/Rabbitmq*123456
# 集群配置
# ==================================================================node1 find / -name ".erlang.cookie" ll /root/.erlang.cookie chmod 600 /root/.erlang.cookie # 读取其中一个节点的cookie, 并复制到其他节点(节点之间通过cookie确定相互是否可通信) # 查看rabbitmq的启动日志中 home dir echo -n "RABBITMQERLANGCOOKIE" > /root/.erlang.cookie cat /root/.erlang.cookie #RABBITMQERLANGCOOKIE # ==================================================================node2 node3 chmod 600 /root/.erlang.cookie # ==================================================================node1 scp /root/.erlang.cookie node2:/root/.erlang.cookie scp /root/.erlang.cookie node3:/root/.erlang.cookie # ==================================================================node1 node2 node3 reboot rabbitmq-server -detached # 加入集群 # 默认是磁盘节点,如果是内存节点的话,需要加--ram参数 # 其中--ram代表是内存节点,如果希望是磁盘节点则不用加--ram,在rabbitmq集群中,至少需要一个磁盘节点 # ==================================================================node1 rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl join_cluster --ram [email protected] rabbitmqctl start_app rabbitmqctl status # ==================================================================node2 rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl join_cluster --ram [email protected] rabbitmqctl start_app rabbitmqctl status # ==================================================================node3 rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl join_cluster [email protected] rabbitmqctl start_app rabbitmqctl status # ==================================================================node1 # 设置镜像策略 rabbitmqctl set_policy ha-all "^" ‘{"ha-mode":"all","ha-sync-mode":"automatic"}‘ rabbitmqctl cluster_status # ==================================================================node1 # 创建和赋角色完成后查看并确认 rabbitmqctl list_users # 需重新添加用户(用户名 admin 密码 Rabbitmq*123456 ) rabbitmqctl add_user admin Rabbitmq*123456 # 设置用户角色(设置admin用户为管理员角色) rabbitmqctl set_user_tags admin administrator # 设置用户权限(设置admin用户配置、写、读的权限) rabbitmqctl set_permissions -p / admin ".*" ".*" ".*" # 删除用户(删除guest用户) rabbitmqctl delete_user guest # 注意:rabbitmq从3.3.0开始禁止使用guest/guest权限通过除localhost外的访问。 # ==================================================================node1 node2 node3 # 创建和赋角色完成后查看并确认 rabbitmqctl list_users rabbitmqctl cluster_status # 浏览器输入地址:http://node1:15672/ # 用户名密码: admin/Rabbitmq*123456 # 浏览器输入地址:http://node2:15672/ # 用户名密码: admin/Rabbitmq*123456 rabbitmqctl stop shutdown -h now # 快照 rabbitmq
以上是关于hadoop生态搭建(3节点)-12.rabbitmq配置的主要内容,如果未能解决你的问题,请参考以下文章
hadoop生态搭建(3节点)-17.sqoop配置_单节点
hadoop生态搭建(3节点)-05.mysql配置_单节点