第4次系统综合实践
Posted fzuzb
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第4次系统综合实践相关的知识,希望对你有一定的参考价值。
使用Docker-compose实现Tomcat+nginx负载均衡
1.理解nginx反向代理原理;
- Nginx在做反向代理时,提供性能稳定,并且能够提供配置灵活的转发功能。Nginx可以根据不同的正则匹配,采取不同的转发策略,比如图片文件结尾的走文件服务器,动态页面走web服务器,只要你正则写的没问题,又有相对应的服务器解决方案,你就可以随心所欲的玩。并且Nginx对返回结果进行错误页跳转,异常判断等。如果被分发的服务器存在异常,他可以将请求重新转发给另外一台服务器,然后自动去除异常服务器。
2.nginx代理tomcat集群,代理2个以上tomcat
- 文件目录
- nginx配置文件default.conf
upstream tomcats {
server ctc1:8080 weight=2; # 主机名:端口号,tomcat默认端口号8080,默认使用轮询策略
server ctc2:8080 weight=3;
server ctc3:8080 weight=4;
}
server {
listen 2420;
server_name localhost;
location / {
proxy_pass http://tomcats;# 请求转向tomcats
}
}
- docker-compose.yml
version: "3.8"
services:
nginx:
image: nginx
container_name: cngx
ports:
- 80:2420
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
depends_on:
- tomcat1
- tomcat2
- tomcat3
tomcat1:
image: tomcat
container_name: ctc1
volumes:
- ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录
tomcat2:
image: tomcat
container_name: ctc2
volumes:
- ./tomcat2:/usr/local/tomcat/webapps/ROOT
tomcat3:
image: tomcat
container_name: ctc3
volumes:
- ./tomcat3:/usr/local/tomcat/webapps/ROOT
3.负载均衡测试
- 轮询策略
测试可以通过多次刷新浏览器也可以编写程序进行测试,上面的配置文件就是默认轮询策略的
import requests
url="http://localhost"
for i in range(0,10):
reponse=requests.get(url)
print(reponse.text)
//编写完以后用python3 文件名进行测试
多次刷新也可以出结果
- 权重策略
修改default.conf后重启nginx
upstream tomcats {
server ctc1:8080 weight=2; # 主机名:端口号,tomcat默认端口号8080,默认使用轮询策略
server ctc2:8080 weight=3;
server ctc3:8080 weight=4;
}
server {
listen 2420;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
用程序测试
import requests
url="http://localhost"
context={}
for i in range(0,100):
response=requests.get(url)
if response.text in context:
context[response.text]+=1
else:
context[response.text]=1
print(context)
//编写完以后用python3 文件名进行测试
测试结果里返回的结果和配置文件里的权重比值2:3:4基本一致
使用Docker搭建大数据集群环境
- 检查有没有ubuntu镜像,没有去pull一个
docker pull ubuntu
- 创建一个目录用来像Docker里的ubuntu镜像传文件
mkdir ~/build
- 创建容器
sudo docker run -it -v /home/kingbob/build:/root/build --name ubuntu ubuntu
- 进入容器后,为了让安装速度更快,进行换源,选用阿里云
cat<<EOF>/etc/apt/sources.list #覆盖掉原先内容,注意左边只有一个>,<<EOF>是覆盖;<<EOF>>则变成追加
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF
- 换好源后按以下操作安装
apt-get update
apt-get install vim # 安装vim软件
apt-get install ssh # 安装sshd,因为在开启分布式Hadoop时,需要用到ssh连接slave:
/etc/init.d/ssh start # 运行脚本即可开启sshd服务器
vim ~/.bashrc
/etc/init.d/ssh start # 在该文件中最后一行添加如下内容,实现进入Ubuntu系统时,都能自动启动sshd服务
- 配置ssh
ssh-keygen -t rsa # 一直按回车即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
- 安装JDK8
apt-get install openjdk-8-jdk
vim ~/.bashrc # 在文件末尾添加以下两行,配置Java环境变量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效
- 安装完后好保存镜像后创建容器
#另开一个终端
sudo docker commit 容器id ubuntu:jdk8 #讲其保存说明是jkd8版本的ubuntu
sudo docker run -it -v /home/kingbob/build:/root/build --name ubuntu-jdk8 ubuntu:jdk8
#开启保存的那份镜像ubuntu:jdk8
- 安装Hadoop
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local #因为做过大数据实验,所以直接拷贝hadoop的压缩包到build文件夹里
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装
- 配置Hadoop集群
这里的一些配置文件直接用大数据实验里的配置就行
hadoop-env.sh
cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp</value>
<description>A base for other temporary derectories.</description>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<!--使用yarn运行MapReduce程序-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--jobhistory地址host:port-->
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<!--jobhistory的web地址host:port-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<!--指定MR应用程序的类路径-->
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
</configuration>
- 对于start-dfs.sh和stop-dfs.sh文件,添加下列参数
cd /usr/local/hadoop-3.1.3/sbin
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
- 对于start-yarn.sh和stop-yarn.sh,添加下列参数
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
- 保存镜像
sudo docker commit 容器id ubuntu/hadoopinstalled
- 从三个终端分别开启三个容器运行ubuntu/hadoopinstalled镜像
# 以下三条对应三个终端
sudo docker run -it -h master --name master ubuntu/hadoopinstalled
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled
- 三个终端分别打开/etc/hosts,根据各自ip修改为如下形式
- mater结点上连接slave
ssh slave
exit
- master上将localhost改成slave的映射
vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02
- 测试Hadoop集群
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format #首次启动Hadoop需要格式化
sbin/start-all.sh #启动所有服务
- 在HDFS里建文件夹
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root #注意input文件夹是在root目录下
bin/hdfs dfs -mkdir input
- 新建一个测试样例,上传到input文件夹
- 运行mapreduce的测试样例,这里用的是计算字符串个数的样例
bin/hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output
- 查看结果
./bin/hdfs dfs -cat output/*
- 使用完记得关闭服务
sbin/stop-all.sh
实验问题
- 一个问题就是网络的问题换了中科院还有阿里的源都有报这样的错,后面换自己的热点连接到电脑,虽然还是不快,但是这个报错解决了,还有第三张图要注意一下docker-compose.yml文件里nginx的镜像名是nginx要直接从你当前docker里拥有的镜像名,改成存在的镜像名就行
- 还有个问题就是在容器创建完一会,如果用浏览器打开端口报这个错,过几分钟再打开就没事了
- 最让我心态爆炸的就是这个错了,在我大数据部署到最后几步的时候,虚拟机死机了,等了它一个多小时还是没有反应以后用控制台强制关闭VMware进程然后再启动就变这样了,网上各种方法用了还是没用,没办法只能重新做一遍实验,一个上午的时间直接打水漂,建议虚拟机内存开3G以上稳一点
以上是关于第4次系统综合实践的主要内容,如果未能解决你的问题,请参考以下文章