docker搭建

Posted 2020-12-05

1，宿主机系统与docker版本选型

        从现有的系统来看centos7对虚拟化的支持相对来说更完美，对于docker的版本当然是最新的版本功能更完善；

故选择 Centos7+docker最新版本

 

2，kernel升级

现象描述：系统死机

原因描述：centos7.1默认安装的内核为3.10版本，对于运行少量的容器来说不存在任何问题，当运行容器的数量增多时(比如100台)就会发现容器运行一段时间后操作系统会死机，导致整个物理机不可用，经研究发现将系统内核升级到4.2即可解决此问题。

解决方案：

查看系统当前内核版本

 

 

yum升级kernel至4.x

    rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

    yum install http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm

    yum --enablerepo=elrepo-kernel install kernel-ml

    grub2-set-default 0

 

cat /boot/grub2/grub.cfg |grep menuentry

 

 grub2-set-default "CentOS Linux (3.10.0-327.el7.x86_64) 7 (Core)"   设置第一个内核选项为默认启动项

 

　grub2-editenv list  查看是否设置成功

 

 

 

重启操作系统

    reboot

再次查看nerker版本

如需卸载可使用:yum remove kernel-ml

 

repo.org

3，内核调优

现象描述：网络高延时、丢包

原因描述：单台宿主机运行百台以上容器时，对宿主机的压力相应增加，其中网络方面表现最为明显；

以ARP为例：容器使用br0的网络与外面通信，这样每台容器都会将arp信息缓存下来，如果100台容器分别将网关、宿主机这两条信息存入ARP缓存表，那么物理机上的arp缓存表就有200条；而系统默认的arp缓存条目为128条，所以将导致一部分arp信息被覆盖掉。如果容器间进行频繁的网络通信，就会表现出大量的延时甚至丢包。

cat /proc/sys/net/ipv4/neigh/default/gc_thresh1   #系统默认的ARP缓存条目

cat /proc/sys/net/ipv4/neigh/default/gc_thresh2  #系统ARP条目值的软限制

cat /proc/sys/net/ipv4/neigh/default/gc_thresh3   #系统ARP条目值的硬限制

 

解决方案：

修改系统内核参数

vim /etc/sysctl.conf 

 

# System default settings live in /usr/lib/sysctl.d/00-system.conf.

# To override those settings, enter new settings here, or in an /etc/sysctl.d/<name>.conf file

#

# For more information, see sysctl.conf(5) and sysctl.d(5).

 

net.ipv4.ip_forward=1

net.ipv4.neigh.default.gc_thresh1=25600

net.ipv4.neigh.default.gc_thresh2=51200

net.ipv4.neigh.default.gc_thresh3=102400

net.core.rmem_default = 2097152

net.core.rmem_max=16777216

net.core.wmem_max=16777216

net.core.wmem_default = 2097152

net.ipv4.neigh.default.base_reachable_time = 172800

net.ipv4.neigh.default.gc_stale_time = 172800

kernel.msgmax=65536

kernel.msgmnb=65536

kernel.pid_max=65535

 

 sysctl -p

 

/etc/security/limits.d/20-nproc.conf

*          soft    nproc     65535

 

ulimit -n 65535

echo "* soft nproc 65535"  >> /etc/security/limits.conf

echo "* hard nproc 65535"  >> /etc/security/limits.conf

4，设置桥接网卡

1）    安装包

yum install  bridge-utils -y 

 

2）设置bond网卡

[[email protected] ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond0

BOOTPROTO=none

DEVICE=bond0

ONBOOT=yes

BONDING_OPTS='mode=1 miimon=100'     (mode=1,网卡绑定模式为主备)

BRIDGE=br0

 

3）设置 ifcfg-br0 网卡文件

[[email protected] ~]# cat /etc/sysconfig/network-scripts/ifcfg-br0

DEVICE=br0

TYPE=Bridge

ONBOOT=yes

BOOTPROTO=none

IPADDR=21.68.26.247

PREFIX=23

GATEWAY=21.68.27.254

 

结尾  Service  network  restart  重启网卡

 

5，安装docker

    1)配置yum源

cd /etc/yum.repos.d/

vim docker.repo 

[docker-epel]

name=docker-epel

baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/

gpgcheck=0

 

 

    2)配置http代理，如果宿主机能直接链接外网请跳过此步骤

 export http_proxy=http://10.59.19.251:48080 

 

3）yum安装docker-io

 yum install docker-io

 

安装完成后修改docker服务的启动参数

vim /etc/sysconfig/docker

修改other_args=""为other_args="-b br0 --insecure-registry=rocshen.io"

-b=br0    #容器启动时的网络地址池

--insecure-registry=rocshen.io   #支持使用HTTP协议从仓储rocshen.io下载镜像

 

 

 

Stg1 :OPTIONS='--insecure-registry=1qianbao.com -b=br0 --storage-driver=devicemapper --storage-opt dm.basesize=80G --selinux-enabled=false -H unix:///var/run/docker.sock -H tcp://0.0.0.0:9999'

/etc/sysconfig/docker-storage-setup

CONTAINER_THINPOOL=docker-pool

目前我的docker环境：OPTIONS='--selinux-enabled=false --storage-driver=devicemapper --storage-opt dm.basesize=100G --insecure-registry=mrroy.io -b br0'

 

Rm -rf /var/lib/docker/*

 cd /var/lib/docker      -----清除全部内容

 mkdir -p  /var/lib/docker/devicemapper/devicemapper/       ---创建两个devicemappe目录

 

然后再进入devicemappe目录下创建：

dd if=/dev/zero of=data bs=1G count=0 seek=1500

dd if=/dev/zero of=metadata bs=1G count=0 seek=2

 

 

 

启动docker服务

 systemctl start docker.service

查看docker版本

[[email protected] ~]# docker -v

 

Docker version 1.13.1, build 774336d/1.13.1

 

6，拉取docker镜像

添加hosts主机名信息

添加 10.59.41.251 rocshen.io 至/etc/hosts

 

拉取镜像

docker pull rocshen.io/centos6_base

l

 

至此，docker服务器搭建完

 

7：私有仓储搭建：

 

#[[email protected] ~]# yum install docker-registry

#[[email protected] ~]# vim /etc/sysconfig/docker-registry

 

# Port to bind the registry to

    REGISTRY_PORT=80    --->修改端口号未本机80，支持http

 

#[[email protected] ~]# service docker-registry start                   

 

下载or 创建基础镜像

 

1）将基础镜像打 tag  并传到本地image

    docker tag  roy-web  roy.com/jboss-test    

 

 2)通过dockerfile文件定制镜像文件（命令后.表示当前目录加载dockerfile文件）

    docker  build  -t  roy.com/jboss-test  .     

 

# docker histry --no-trunc

 

 

3)将定制好的镜像push到目前docker私有仓库中。

docker   push   roy.com/jboss-test                

 #到此可以通过docker客户端通过以上私有仓库进行pull镜像文件，（需要修改docker客户端/etc/sysconfig/docker OPTIONS='--insecure-registry= roy.com）

 

4.docker run -id --name cip-web --privileged roy.com/jboss-test /init.sh -h cip-web

   启动刚build的镜像系统，并-id在后台运行，--name 启动时添加的别名。

 

5.docker exec -it  cip-web  /bin/bash                                                                     进入到cip-web系统

 

6docker stop cip-web                                                                                                停止刚启动的系统，可以使用docker ps查看哪些系统在启动

 

7.docker rmi  b989f592aed2                                                                                     删除镜像文件

 

 

 

 

 

脚本方法：

1.bash dockerbuild.sh -v 1224 -h cip-web --build --push               使用dockerbuild.sh脚本构建cip-web子系统镜像文件

2.rundocker -v 0121 -h abp-web                                                                      -v 指定本次需要启动的版本，-h 系统名称

 

docker导出镜像

docker save -o 文件名 镜像名

docker导入镜像

docker load < 文件名

docker images  查看当前机器所有镜像

docker inspect 容器名字    获取容器/镜像的元数据。

docker stop 容器名字

docker rm 容器名字