Docker 学习笔记 Docker 仓库数据卷数据卷容器,网络基础实操。高级网络配置学习
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Docker 学习笔记 Docker 仓库数据卷数据卷容器,网络基础实操。高级网络配置学习相关的知识,希望对你有一定的参考价值。
Docker 学习笔记【4】 高级网络配置实操,实战案例实验
===========================================================================
Docker 学习笔记【2】 Docker 仓库实操,创建私有仓库,实操数据卷、数据卷容器,记录开始
===========================================================================
被格式化的脚本内容:
#开头代表宿主机的root用户执行的命令
]$开头的代表宿主机的普通用户执行的命令
[[email protected] /]# 类似开头的,实在docker启动的实例中执行的命令
--1-- 仓库
1、公有仓库:
1.基本操作:
1>搜索、下载image:
# docker search tomcat NAME DESCRIPTION STARS OFFICIAL AUTOMATED tomcat Apache Tomcat is an open source implementa... 1017 [OK] dordoka/tomcat Ubuntu 14.04, Oracle JDK 8 and Tomcat 8 ba... 27 [OK] consol/tomcat-8.0 Tomcat 8.0.15, 8080, "admin/admin" 15 [OK] davidcaste/alpine-tomcat Apache Tomcat 7/8 using Oracle Java 7/8 wi... 10 [OK] cloudesire/tomcat Tomcat server, 6/7/8 10 [OK] andreptb/tomcat Debian Jessie based image with Apache Tomc... 6 [OK] openweb/oracle-tomcat A fork off of Official tomcat image with O... 4 [OK] kieker/tomcat 2 [OK] fbrx/tomcat Minimal Tomcat image based on Alpine Linux 2 [OK] camptocamp/tomcat-logback Docker image for tomcat with logback integ... 1 [OK] abzcoding/tomcat-redis a tomcat container with redis as session m... 1 [OK] bitnami/tomcat Bitnami Tomcat Docker Image 1 [OK] picoded/tomcat tomcat 8 with java 8, and MANAGER_USER / M... 1 [OK] rennergabor/virgo-tomcat-server Docker image for Eclipse Virgo Tomcat Server 0 [OK] ping2ravi/tomcat Tomcat Versions 7 and 8 0 [OK] cheewai/tomcat Tomcat and Oracle JRE in docker 0 [OK] inspectit/tomcat Tomcat with inspectIT 0 [OK] stakater/tomcat Tomcat based on Ubuntu 14.04 and Oracle Java 0 [OK] charlycoste/tomcat Debian based Tomcat (don‘t use it, this is... 0 [OK] davidcaste/debian-tomcat Yet another Debian Docker image for Tomcat... 0 [OK] elcom/tomcat Tomcat with Java 0 [OK] blueur/tomcat Tomcat with the possibility to set the use... 0 [OK] khipu/tomcat ansible based tomcat 8 0 [OK] oriaks/tomcat Tomcat 0 [OK] phpmentors/tomcat-app Tomcat application image using Maven 0 [OK] docker pull ${REPOSITORY}:${TAG}---------[不演示,第一节的实操在笔记【2】中有]
2.自动创建:
作为后续扩展学习部分,暂不演示,以实用功能为主
2、私有仓库:
1.使用registry的镜像创建私有仓库容器:
1>将registry镜像下载到本地:
# docker pull registry latest: Pulling from registry 4b59778f82f9: Pull complete d55b2c222c83: Pull complete c664f834680b: Pull complete b772c022cbbe: Pull complete feb1c3b189e9: Pull complete 601bdc23d897: Pull complete be7eadf718aa: Pull complete 9bac026e7e41: Pull complete 5c929a8b587a: Pull complete Digest: sha256:0658d259f220a395b17f994a433cca057ff3828c839c303506db2993189bb2df Status: Downloaded newer image for registry:latest
2>使用pull的官方registry启动一个仓库docker容器实例
方法1含义:将本地5000端口连接到容器实例的5000端口,实用官方registry镜像启动实例
# docker run -d -p 5000:5000 registry 4ea87a9497d26b3fac32748d72b0fc7ab1ca1c2cbde7075da530c16fe8a088f6
注:笔记中有s3相关的笔记,但是由于亚马逊中国区注册需要营业执照,国际区速度慢而且收费,所以就不演示,有机会演示的话,新起一个笔记连接于此:链接
方法2含义:将本地5000端口连接到容器实例的5000端口,实用官方registry镜像启动实例,并将本地目录/home/admin/registry挂载为该容器实例的数据卷,目录为容器中的/registry,权限读写
【推荐,因此,所有基于使用registry的镜像创建私有仓库容器的操作,都基于这个方式启动的,这样可以将镜像存在宿主机的/home/admin/registry目录下!】
# docker run -d -p 5000:5000 -v /home/admin/registry:/var/lib/registry registry 879e4d9ab3575846ca41251d95f6486449f4ba4461c7ec8f6068413f522d94a6
3>验证:
# docker tag my_centos:6.8 127.0.0.1:5000/lich_centos:6.8 # docker push 127.0.0.1:5000/lich_centos:6.8 The push refers to a repository [127.0.0.1:5000/lich_centos] (len: 1) 35b7ec25ed6f: Buffering to Disk 35b7ec25ed6f: Image already exists Digest: sha256:2abc4b59ac7f668e699148994826d48149b12db4e69c2ec0a5abecdeafaf291c # curl 127.0.0.1:5000/v2/_catalog {"repositories":["lich_centos"]}
【注意,docker通过repository来断定1:镜像属于哪个注册服务器;2:镜像属于注册服务器的哪个仓库,通过tag来标记具体镜像】
【所以,push之前需要将image重新tag,然后再执行push操作】
【附:v2私服的http api】http://blog.csdn.net/ztsinghua/article/details/51496658
------------重要标记--------------
1、v1版本的registry和v2版本的registry,验证方式不同:
v1:浏览器访问方式为:我的ip:5000/v1/search
v1可以通过get方式搜索关键字:curl -X GET 我的ip:5000/v1/search?q=关键字
latest版本为v2浏览器访问方式为:我的ip:5000/v2/_catalog
2、容器内部,存储镜像的位置不同:
v1:/tmp/registry
v2:/var/lib/registry
3、实现语言:
v1:python
v2:go[与docker相同]
4、以我上传的127.0.0.1:5000/lich_centos:6.8为例[v2],由于将本地的/home/admin/registry目录挂在到了他的镜像存储目录,所以镜像被存储到了本地的/home/admin/registry目录。结构如下:
]$ pwd /home/admin/registry ]$ ll total 4 drwxr-xr-x 3 root root 4096 Nov 11 10:46 docker cd docker/registry/v2/ ]$ ll total 8 drwxr-xr-x 3 root root 4096 Nov 11 10:46 blobs drwxr-xr-x 3 root root 4096 Nov 11 10:46 repositories ]$ pwd /home/admin/registry/docker/registry/v2 ]$ du -sh * 118M blobs 80K repositories
到上述步骤可以看出,镜像数据是存在blobs中的
$ cd repositories/ ]$ ll total 4 drwxr-xr-x 5 root root 4096 Nov 11 10:46 lich_centos ]$ pwd /home/admin/registry/docker/registry/v2/repositories ]$ ll total 4 drwxr-xr-x 5 root root 4096 Nov 11 10:46 lich_centos
以上步骤看出repositories是存储仓库文件的信息
]$ pwd /home/admin/registry/docker/registry/v2/repositories/lich_centos/_manifests/tags ]$ ll total 4 drwxr-xr-x 4 root root 4096 Nov 11 10:46 6.8 ]$ pwd /home/admin/registry/docker/registry/v2/repositories/lich_centos/_manifests/tags/6.8 ]$ cd current/ ]$ ll total 4 -rw-r--r-- 1 root root 71 Nov 11 10:46 link ]$ cat link sha256:2abc4b59ac7f668e699148994826d48149b12db4e69c2ec0a5abecdeafaf291c $ pwd /home/admin/registry/docker/registry/v2/repositories/lich_centos/_manifests/tags/6.8/index/sha256/2abc4b59ac7f668e699148994826d48149b12db4e69c2ec0a5abecdeafaf291c ]$ ll total 4 -rw-r--r-- 1 root root 71 Nov 11 10:46 link ]$ cat link sha256:2abc4b59ac7f668e699148994826d48149b12db4e69c2ec0a5abecdeafaf291c
以上可以看出_manifests中存着tag,以及相关的sha256密文信息,索引,以及当前的版本信息等
]$ pwd /home/admin/registry/docker/registry/v2/blobs/sha256 ]$ du -sh * 12K 2a 118M 57 ]$ pwd /home/admin/registry/docker/registry/v2/blobs/sha256/2a/2abc4b59ac7f668e699148994826d48149b12db4e69c2ec0a5abecdeafaf291c ]$ ll total 4 -rw-r--r-- 1 root root 2685 Nov 11 10:46 data ]$ du -sh *
4.0K data
]$ pwd /home/admin/registry/docker/registry/v2/blobs/sha256/57/57f54b88f59ddb62a1630ffb17ab61894db1d6393b0961a14c1334aad1403b27 ]$ ll total 120504 -rw-r--r-- 1 root root 123395470 Nov 11 10:46 data ]$ du -sh * 118M data
以上步骤可以看出,镜像文件加密成名为data的文件存放在一串密文文件夹中,这与镜像的唯一id相关。
5、私服上的image删除,参考http api,后续专栏写私服中的镜像管理:
【附:v2私服的http api】http://blog.csdn.net/ztsinghua/article/details/51496658
2.docker-registry安装私服[使用gunicorn]:
1>下载源码:
# git clone https://github.com/docker/docker-registry.git Initialized empty Git repository in /root/tmp/docker-registry/.git/ remote: Counting objects: 7007, done. remote: Total 7007 (delta 0), reused 0 (delta 0), pack-reused 7007 Receiving objects: 100% (7007/7007), 1.69 MiB | 273 KiB/s, done. Resolving deltas: 100% (4101/4101), done.
2>安装:
#cd docker-registry/ #yum install -y python-devel libevent-devel python-pip gcc xz-devel #python setup.py install
从日志中看,会自动检查依赖包,如果依赖包不存在会自动从默认pypi.python.org下载并安装,根据报错安装缺少的包,不赘述
基本找到如:Searching for docker-registry-core>=2,<3的信息执行:pip install "docker-registry-core>=2,<3" 处理即可
3>启动:
命令:
docker-registry
默认占用宿主机5000端口
我机器上安装的默认路径是:
/usr/lib/python2.6/site-packages/docker_registry-1.0.0_dev-py2.6.egg
其中配置文件在:
/usr/lib/python2.6/site-packages/docker_registry-1.0.0_dev-py2.6.egg/config
可通过:
export DOCKER_REGISTRY_CONFIG=/opt/docker-registy/conf/config.yml
环境变量重新制定文件路径
【博客链接,docker-registry配置】http://aresy.blog.51cto.com/5100031/1553624/
需要配置配置文件:
# cd /usr/lib/python2.6/site-packages/docker_registry-1.0.0_dev-py2.6.egg/config # cp config_sample.yml config.yml
编辑配置文件,dev:的内容修改为:
dev: &dev <<: *common loglevel: _env:LOGLEVEL:debug debug: _env:DEBUG:true storage: file storage_path: /root/docker search_backend: _env:SEARCH_BACKEND:sqlalchemy
docker-registry使用
# docker-registry -h usage: docker-registry [-h] run the docker-registry with gunicorn, honoring the following environment variables: REGISTRY_HOST: TCP host or ip to bind to; default is 0.0.0.0 REGISTRY_PORT: TCP port to bind to; default is 5000 GUNICORN_WORKERS: number of worker processes gunicorn should start GUNICORN_GRACEFUL_TIMEOUT: timeout in seconds for graceful worker restart GUNICORN_SILENT_TIMEOUT: timeout in seconds for restarting silent workers GUNICORN_USER: unix user to downgrade priviledges to GUNICORN_GROUP: unix group to downgrade priviledges to GUNICORN_ACCESS_LOG_FILE: File to log access to GUNICORN_ERROR_LOG_FILE: File to log errors to GUNICORN_OPTS: extra options to pass to gunicorn
可见,docker-registry启动的时候是从环境变量中读取这些量,为此,我们在~/.bashrc中添加如下内容:
export REGISTRY_HOST=0.0.0.0 export REGISTRY_PORT=9000 export GUNICORN_WORKERS=10 export GUNICORN_GRACEFUL_TIMEOUT=10 export GUNICORN_SILENT_TIMEOUT=10 export GUNICORN_USER=root export GUNICORN_GROUP=root export GUNICORN_ACCESS_LOG_FILE=/root/registry_logs/access.log export GUNICORN_ERROR_LOG_FILE=/root/registry_logs/error.log
启动docker-registry【由于dev:跟了&dev 进入守护模式运行】:
docker-registry
启动后可能会有警告信息,不影响使用,只是没有开启redis的cache而已:
11/Nov/2016:14:25:13 +0000 WARNING: Cache storage disabled! 11/Nov/2016:14:25:13 +0000 WARNING: LRU cache disabled! 11/Nov/2016:14:25:13 +0000 DEBUG: Will return docker-registry.drivers.file.Storage
4>验证:
重新tag一个镜像:
# docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE python latest cbf35a92f6c2 22 hours ago 682.4 MB 127.0.0.1:5000/lich_centos 6.8 35b7ec25ed6f 25 hours ago 343.8 MB registry latest 5c929a8b587a 3 weeks ago 33.27 MB ubuntu 12.04 cfc2576a1531 6 weeks ago 103.6 MB centos 6.8 80e46367f846 10 weeks ago 194.5 MB consol/tomcat-8.0 latest 1a333e5a77be 17 months ago 600.7 MB # docker tag 35b7ec25ed6f 127.0.0.1:9000/lich9_centos # docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE python latest cbf35a92f6c2 22 hours ago 682.4 MB 127.0.0.1:9000/lich9_centos latest 35b7ec25ed6f 25 hours ago 343.8 MB 127.0.0.1:5000/lich_centos 6.8 35b7ec25ed6f 25 hours ago 343.8 MB registry latest 5c929a8b587a 3 weeks ago 33.27 MB ubuntu 12.04 cfc2576a1531 6 weeks ago 103.6 MB centos 6.8 80e46367f846 10 weeks ago 194.5 MB consol/tomcat-8.0 latest 1a333e5a77be 17 months ago 600.7 MB
push镜像,日志中可以看出,这个版本安装的是v1版本的注册私有服务器
# docker push 127.0.0.1:9000/lich9_centos The push refers to a repository [127.0.0.1:9000/lich9_centos] (len: 1) Sending image list Pushing repository 127.0.0.1:9000/lich9_centos (1 tags) 35b7ec25ed6f: Image successfully pushed Pushing tag for rev [35b7ec25ed6f] on {http://127.0.0.1:9000/v1/repositories/lich9_centos/tags/latest} 此时docker-registry的日志会刷新: 11/Nov/2016:14:27:45 +0000 DEBUG: args = {‘namespace‘: ‘library‘, ‘repository‘: ‘lich9_centos‘} 11/Nov/2016:14:27:45 +0000 DEBUG: args = {‘image_id‘: u‘35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc‘} 11/Nov/2016:14:27:45 +0000 DEBUG: api_error: Image not found 11/Nov/2016:14:27:45 +0000 DEBUG: args = {‘image_id‘: u‘35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc‘} 11/Nov/2016:14:27:48 +0000 DEBUG: args = {‘image_id‘: u‘35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc‘} 11/Nov/2016:14:28:48 +0000 DEBUG: args = {‘image_id‘: u‘35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc‘} 11/Nov/2016:14:28:48 +0000 DEBUG: args = {‘tag‘: u‘latest‘, ‘namespace‘: ‘library‘, ‘repository‘: ‘lich9_centos‘} 11/Nov/2016:14:28:48 +0000 DEBUG: [put_tag] namespace=library; repository=lich9_centos; tag=latest 11/Nov/2016:14:28:48 +0000 DEBUG: args = {‘images‘: True, ‘namespace‘: ‘library‘, ‘repository‘: ‘lich9_centos‘} 11/Nov/2016:14:30:57 +0000 DEBUG: args = {‘namespace‘: ‘library‘, ‘repository‘: ‘lich9_centos‘} 11/Nov/2016:14:30:57 +0000 DEBUG: args = {‘namespace‘: u‘library‘, ‘repository‘: ‘lich9_centos‘} 11/Nov/2016:14:30:57 +0000 DEBUG: [get_tags] namespace=library; repository=lich9_centos 11/Nov/2016:14:30:57 +0000 DEBUG: args = {‘image_id‘: u‘35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc‘} 11/Nov/2016:14:31:27 +0000 DEBUG: args = {‘namespace‘: ‘library‘, ‘repository‘: ‘lich9_centos‘} 11/Nov/2016:14:31:27 +0000 DEBUG: args = {‘namespace‘: u‘library‘, ‘repository‘: ‘lich9_centos‘} 11/Nov/2016:14:31:27 +0000 DEBUG: [get_tags] namespace=library; repository=lich9_centos 11/Nov/2016:14:31:27 +0000 DEBUG: args = {‘image_id‘: u‘35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc‘} 11/Nov/2016:14:31:27 +0000 DEBUG: args = {‘image_id‘: u‘35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc‘} 11/Nov/2016:14:31:27 +0000 DEBUG: args = {‘image_id‘: u‘35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc‘} 配置文件将存储路径指向:/root/docker此时该文件夹下已经有了数据: tree /root/docker/ docker/ ├── images │ └── 35b7ec25ed6f9657ff7581a8c7643c2ce48d1b892eac6116b783b43fc8fd9bfc │ ├── ancestry │ ├── _checksum │ ├── json │ └── layer └── repositories └── library └── lich9_centos ├── _index_images ├── json ├── tag_latest └── taglatest_json 5 directories, 8 files
调用http、api验证
# curl -X GET http://127.0.0.1:9000/v1/search {"num_results": 1, "query": "", "results": [{"description": null, "name": "library/lich9_centos"}]}
使用docker命令:
# docker search 127.0.0.1:9000/centos NAME DESCRIPTION STARS OFFICIAL AUTOMATED library/lich9_centos 0
5>将本地所有镜像push到私服:
shell脚本,后面参数需要跟上本地的id【一个或多个】如:
# ./push_images.sh python registry centos:6.8 The registry server is 127.0.0.1:9000 Uploading python... The push refers to a repository [127.0.0.1:9000/python] (len: 1) Sending image list Pushing repository 127.0.0.1:9000/python (1 tags) 385b367e1f47: Image successfully pushed 3307aeade16b: Image successfully pushed c799e95a8f7b: Image successfully pushed 4fda0db3e365: Image successfully pushed 1d79f596a4bc: Image successfully pushed b0efeca46bd3: Image successfully pushed fcce871796c9: Image successfully pushed 3b498d682dde: Image successfully pushed 17ee65a53e86: Image successfully pushed ce03e868fe5e: Image successfully pushed ea02150f8827: Image successfully pushed 4bf63b636773: Image successfully pushed baf78a44efdd: Image successfully pushed cbf35a92f6c2: Image successfully pushed Pushing tag for rev [cbf35a92f6c2] on {http://127.0.0.1:9000/v1/repositories/python/tags/latest} Untagged: 127.0.0.1:9000/python:latest Done Uploading registry... The push refers to a repository [127.0.0.1:9000/registry] (len: 1) Sending image list Pushing repository 127.0.0.1:9000/registry (1 tags) 4b59778f82f9: Image successfully pushed d55b2c222c83: Image successfully pushed c664f834680b: Image successfully pushed b772c022cbbe: Image successfully pushed feb1c3b189e9: Image successfully pushed 601bdc23d897: Image successfully pushed be7eadf718aa: Image successfully pushed 9bac026e7e41: Image successfully pushed 5c929a8b587a: Image successfully pushed Pushing tag for rev [5c929a8b587a] on {http://127.0.0.1:9000/v1/repositories/registry/tags/latest} Untagged: 127.0.0.1:9000/registry:latest Done 。 。 。 :
脚本内容:
#!/bin/sh # This script will upload the given local images to a registry server ($registry is the default value). # See: https://github.com/yeasy/docker_practice/blob/master/_local/push_images.sh # Usage: push_images image1 [image2...] # Author: [email protected] # Create: 2014-09-23 #The registry server address where you want push the images into registry=127.0.0.1:9000 ### DO NOT MODIFY THE FOLLOWING PART, UNLESS YOU KNOW WHAT IT MEANS ### echo_r () { [ $# -ne 1 ] && return 0 echo -e "\033[31m$1\033[0m" } echo_g () { [ $# -ne 1 ] && return 0 echo -e "\033[32m$1\033[0m" } echo_y () { [ $# -ne 1 ] && return 0 echo -e "\033[33m$1\033[0m" } echo_b () { [ $# -ne 1 ] && return 0 echo -e "\033[34m$1\033[0m" } usage() { sudo docker images echo "Usage: $0 registry1:tag1 [registry2:tag2...]" } [ $# -lt 1 ] && usage && exit echo_b "The registry server is $registry" for image in "[email protected]" do echo_b "Uploading $image..." sudo docker tag $image $registry/$image sudo docker push $registry/$image sudo docker rmi $registry/$image echo_g "Done" done
--2-- 数据卷和数据卷容器
docker的配置文件在:
# pwd /etc/sysconfig # ll docker* -rw-r--r-- 1 root root 531 Nov 11 15:27 docker -rw-r--r-- 1 root root 0 Aug 15 2015 docker-network -rw-r--r-- 1 root root 597 Aug 15 2015 docker-storage
1、数据卷:
笔记2中的描述有问题:
创建一个web服务器,并创建一个数据卷/webapp,从宿主机端口中任意打开一个端口映射到容器的5000端口
# docker run -d -P --name web -v /webapp training/webapp python app.py 4de65ac6fb26790c17daef58a3457f0057f6cf2be14a57afbcda993a769f9903 # docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 4de65ac6fb26 training/webapp "python app.py" 29 seconds ago Up 27 seconds 0.0.0.0:32768->5000/tcp web
此时访问我的ip:32768 会得到hello world!
确认镜像可用,将实例杀掉:
# docker stop 4de65ac6fb26 # docker rm 4de65ac6fb26
实用角度出发,实用tomcat镜像进行测试:
现已知:consol/tomcat-8.0镜像中,页面存放的位置在:/opt/apache-tomcat-8.0.23/webapps,我们将宿主机的一个文件夹:/root/webapp_local挂载到容器的/opt/apache-tomcat-8.0. 23/webapps/what数据卷下:
在目录/root/webapp_local下我创建了一个html里面写上了:sakdfaksdfhasdfh
]# docker run -d -P --name web -v /root/webapp_local:/opt/apache-tomcat-8.0.23/webapps/what consol/tomcat-8.0 75039e93610d66fd0d53b90342a26e506c48896046c1896aec6f413ece6475e6 # docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 75039e93610d consol/tomcat-8.0 "/bin/sh -c /opt/tom 5 seconds ago Up 2 seconds 0.0.0.0:32773->8080/tcp, 0.0.0.0:32772->8778/tcp web
只读权限的挂载就不演示了,就是docker内部对挂载的目录没有写权限,跟挂在了一个光盘一样。挂载单个文件由于inode问题,也不进行实验了,基本不会用到的。
此时访问: http://我的ip:32773 得到apache欢迎页 http://我的ip:32773/what/what.html 得到我写的字符串:sakdfaksdfhasdfh 修改what.html为:123234523453 http://我的ip:32773/what/what.html 得到:123234523453
2、数据卷容器
创建数据卷容器:
#docker run -d -v /dbdata_volume --name dbdata training/postgres
创建其他容器时,使用数据卷容器中的数据卷:
#docker run -d --volumes-from dbdata --name db1 training/postgres #docker run -d --volumes-from dbdata --name db2 training/postgres
此时 db1、db2的/dbdata_volume都挂在的dbdata这个数据卷容器的/data目录,双数据库读取同一个数据文件
此时db1、db2都存在数据卷,这两个容器也是数据卷容器了,因此可以被使用【其实挂载的还是dbdata容器中的/dbdata_volume数据卷】:
#docker run -d --name db3 --volumes-from db1 training/postgres
容器被docker rm的时候,不会删除数据卷,如果要删除对应的数据卷,则需要在删除最后一个引用了数据卷容器的时候使用 -v参数
# docker rm -f -v db3
3、通过数据卷容器进行备份、恢复、迁移数据卷【原理释义,暂时不会用到,因此做理解记录,详情不再记录】
docker run --volumes-from dbdata -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata
此时卷被被备份在本地的当前目录,名为backup.tar
docker run -v /dbdata --name dbdata2 ubuntu /bin/bash
此时创建了一个dbdata2的数据卷容器
docker run --volumes-from dbdata2 -v $(pwd):/backup busybox tar xvf /backup/backup.tar
此时创建了另一个容器,并将dbdata2中的数据卷/dbdata挂到了自己的目录中,并且又挂载了一个本地的数据卷:$(pwd):/backup,又将其中的backup.tar解压出来,其中只有一个/dbdata目录和其中的数据,因此,数据卷容器得以复制到dbdata2数据卷容器的/dbdata数据卷中。
--3-- Docker中的网络:
1、前面在做web测试数据卷的时候已经用到了,不再赘述记录,做简单理解性笔记:
-p小写指定端口
-P大写随机端口,host为0.0.0.0
docker容器启动的时候也会创建一套网络服务,内部ip和端口想虚拟机一样在宿主机上,但是如果不做绑定,将会导致外面无法访问到docker里面的服务
指定端口绑定容器的方式有三种:
【ip:hostPort:containerPort 】指定一个监听ip、端口绑定到docker容器的指定端口:
docker run -d -p 127.0.0.1:9988:8080 --name web -v /root/webapp_local:/opt/apache-tomcat-8.0.23/webapps/what consol/tomcat-8.0
【ip::containerPort 】指定一个监听ip、随机端口绑定到docker容器的指定端口:
docker run -d -p 127.0.0.1::8080 --name web -v /root/webapp_local:/opt/apache-tomcat-8.0.23/webapps/what consol/tomcat-8.0
【hostPort:containerPort 】指定一个端口,监听所有ip、端口绑定到docker容器的指定端口:
docker run -d -p 9988:8080 --name web -v /root/webapp_local:/opt/apache-tomcat-8.0.23/webapps/what consol/tomcat-8.0
--4-- 容器互联:
1、容器之间的安全交互:
创建一个容器:
# docker run -d --name db training/postgres 81ffbb409bf61b67b95426eb51a52ec9e55c4b10e4233d8fe1eefaf0abd038cd
这是一个postgres的容器
创建一个centos容器,centos:使其跟db互联,互联的别名叫做db_alias
# docker run -ti --name centos --link db:db_alias centos:6.8 2a85ef59d70b9edf04275eee42a897c95efbb9cc50628a4215f647f03d49ea98 [[email protected] /]# cat /etc/hosts 172.17.0.26 54ab58dec35c 127.0.0.1 localhost ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 172.17.0.22 db_alias 98a476f6c636 db
由上面可以看出,其实就是在容器内部通过docker网桥,打通了两个ip,并且将容器名、容器id、link别名都在hosts中做了解析
2、Docker通过两种方式公开连接信息:
1.环境变量:
# docker run -ti --name centos --link db:db_alias centos:6.8 env PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin HOSTNAME=0c889e04a32f TERM=xterm DB_ALIAS_PORT=tcp://172.17.0.27:5432 DB_ALIAS_PORT_5432_TCP=tcp://172.17.0.27:5432 DB_ALIAS_PORT_5432_TCP_ADDR=172.17.0.27 DB_ALIAS_PORT_5432_TCP_PORT=5432 DB_ALIAS_PORT_5432_TCP_PROTO=tcp DB_ALIAS_NAME=/centos/db_alias DB_ALIAS_ENV_PG_VERSION=9.3 HOME=/root
2.hosts解析:
# docker run -ti --name centos --link db:db_alias centos:6.8 [[email protected] /]# cat /etc/hosts 172.17.0.30 a62d53a46fd9 127.0.0.1 localhost ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 172.17.0.27 db_alias 25de25a6cd0f db
可以连接多个子容器到父容器 不多做解释了,因为跟网络一样,网络互通只要ip池有地址,就不限制
===========================================================================
Docker 学习笔记【2】 Docker 仓库实操,创建私有仓库,实操数据卷、数据卷容器,记录结束
===========================================================================
===========================================================================
高级网络配置
===========================================================================
--1-- 基本概念
1、基本概念
1.Docker启动时,会自动在宿主机上创建一个docker0命名的虚拟网桥,实际上是linux的一个bridge,可以理解为一个软件交换机,它会在挂载到他的网口之间进行转发。
2.Docker随机分配一个本地未占用的私有网段【RFC1918中定义】,中的一个地址给docker0接口,比如典型默认值:172.17.42.1,掩码为:255.255.0.0,启动容器时。会自动在网口上分配一个网段172.17.0.0/16地址
3.RFC1918定义的三类私网地址:
A类:10.0.0.0/8即10.0.0.0~10.255.255.255
B类:172.16.0.0/12即172.16.0.0~172.31.255.255
C类:192.168.0.0/16即192.168.0.0~192.168.255.255
2、基本原理
1.当创建一个Docker容器的时候,同事创建了一对veth pair接口,即当数据包发送到一个接口时,另一个接口也收到相同的数据包。这对接口一端在容器内,即eth0【容器内的eth0】:另一端在宿主机上被挂在到docker0这个虚拟网桥上,名称以veth开头,后面跟上一串字符串:vethAQI2QT。通过这种方式,宿主机可以跟容器通信,容器之间也可以互相通信,Docker就创建了在宿主机和容器之间的一个虚拟共享网络。
--2-- 网络配置
1、基本操作
1.Docker相关网络配置命令:注:【其中部分命令不能立即生效,必须在重启docker服务后生效】
-b BRIDGE or --bridge=BRIDGE --指定容器挂载的网桥 --bip=CIDR --定制 docker0 的掩码 -H SOCKET... or --host=SOCKET... --Docker 服务端接收命令的通道 --icc=true|false --是否支持容器之间进行通信 --ip-forward=true|false --请看:容器之间的通信 --iptables=true|false --禁止 Docker 添加 iptables 规则 --mtu=BYTES --容器网络中的 MTU【windows默认1400 linux默认是1380,如果windows拨上vpn不好用,可能需要设置这个值】
2.下面2个命令选项既可以在启动服务时指定,也可以 Docker 容器启动(docker run)时候指定。在 Docker 服务启动的时候指定则会成为默认值,后面执行 docker run 时可以覆盖设置的默认值。
--dns=IP_ADDRESS... --使用指定的DNS服务器 --dns-search=DOMAIN... --指定DNS搜索域
3.最后这些选项只有在 docker run 执行时使用,因为它是针对容器的特性内容。
-h HOSTNAME or --hostname=HOSTNAME --配置容器主机名 --link=CONTAINER_NAME:ALIAS --添加到另一个容器的连接 --net=bridge|none|container:NAME_or_ID|host --配置容器的桥接模式 -p SPEC or --publish=SPEC --映射容器端口到宿主主机 -P or --publish-all=true|false --映射容器所有端口到宿主主机
4.配置DNS
Docker 没有为每个容器专门定制镜像,容器利用虚拟文件来挂载到来容器的 3 个相关配置文件,实现自定义容器的主机名和dns配置。
在容器中使用 mount 命令可以看到挂载信息:
$ mount ... /dev/disk/by-uuid/1fec...ebdf on /etc/hostname type ext4 ... /dev/disk/by-uuid/1fec...ebdf on /etc/hosts type ext4 ... tmpfs on /etc/resolv.conf type tmpfs ... ...
这种机制可以让宿主主机 DNS 信息发生更新后,所有 Docker 容器的 dns 配置通过 /etc/resolv.conf 文件立刻得到更新。
如果用户想要手动指定容器的配置,可以利用下面的选项。
-h HOSTNAME or --hostname=HOSTNAME :
设定容器的主机名,它会被写到容器内的 /etc/hostname 和 /etc/hosts。但它在容器外部看不到,既不会在 docker ps 中显示,也不会在其他的容器的 /etc/hosts 看到。
--link=CONTAINER_NAME:ALIAS :
选项会在创建容器的时候,添加一个其他容器的主机名到 /etc/hosts 文件中,让新容器的进程可以使用主机名 ALIAS 就可以连接它。【上一节容器的连接的时候,使用过,hosts中添加了解析】
--dns=IP_ADDRESS :
添加 DNS 服务器到容器的 /etc/resolv.conf 中,让容器用这个服务器来解析所有不在 /etc/hosts 中的主机名。
--dns-search=DOMAIN :
设定容器的搜索域,当设定搜索域为 .example.com 时,在搜索一个名为 host 的主机时,DNS 不仅搜索host,还会搜索 host.example.com。
注意:如果没有上述最后 2 个选项,Docker 会默认用主机上的 /etc/resolv.conf 来配置容器。
5.容器访问控制:
主要通过宿主机的iptables进行访问权限控制。
6.容器访问外部网络:
容器要想访问外部网络,需要本地系统的转发支持。在Linux 系统中,检查转发是否打开。
$sysctl net.ipv4.ip_forward net.ipv4.ip_forward = 1
如果为 0,说明没有开启转发,则需要手动打开。
$sysctl -w net.ipv4.ip_forward=1
如果在启动 Docker 服务的时候设定 --ip-forward=true, Docker 就会自动设定系统的 ip_forward 参数为 1。
7.容器之间访问:
容器之间相互访问,需要两方面的支持。
1>容器的网络拓扑是否已经互联。默认情况下,所有容器都会被连接到 docker0 网桥上。
2>本地系统的防火墙软件 -- iptables 是否允许通过。
8.访问所有端口:
当启动 Docker 服务时候,默认会添加一条转发策略到 iptables 的 FORWARD 链上。策略为通过(ACCEPT)还是禁止(DROP)取决于配置--icc=true(缺省值)还是 --icc=false。当然,如果手动指定 --iptables=false 则不会添加 iptables 规则。
可见,默认情况下,不同容器之间是允许网络互通的。如果为了安全考虑,可以在 /etc/default/docker 文件中配置 DOCKER_OPTS=--icc=false 来禁止它。
【此处可见docker的默认配置文件是:/etc/default/docker】
9.访问指定端口:
在通过 -icc=false 关闭网络访问后,还可以通过 --link=CONTAINER_NAME:ALIAS 选项来访问容器的开放端口。
例如,在启动 Docker 服务时,可以同时使用 icc=false --iptables=true 参数来关闭允许相互的网络访问,并让 Docker 可以修改系统中的 iptables 规则。
此时,系统中的 iptables 规则可能是类似
$ sudo iptables -nL ... Chain FORWARD (policy ACCEPT) target prot opt source destination DROP all -- 0.0.0.0/0 0.0.0.0/0 ...
之后,启动容器(docker run)时使用 --link=CONTAINER_NAME:ALIAS 选项。Docker 会在 iptable 中为 两个容器分别添加一条 ACCEPT 规则,允许相互访问开放的端口(取决于 Dockerfile 中的 EXPOSE 行)。
当添加了 --link=CONTAINER_NAME:ALIAS 选项后,添加了 iptables 规则。
$ sudo iptables -nL ... Chain FORWARD (policy ACCEPT) target prot opt source destination ACCEPT tcp -- 172.17.0.2 172.17.0.3 tcp spt:80 ACCEPT tcp -- 172.17.0.3 172.17.0.2 tcp dpt:80 DROP all -- 0.0.0.0/0 0.0.0.0/0
注意:--link=CONTAINER_NAME:ALIAS 中的 CONTAINER_NAME 目前必须是 Docker 分配的名字,或使用 --name 参数指定的名字。主机名则不会被识别。
10.映射容器端口到宿主主机的实现
默认情况下,容器可以主动访问到外部网络的连接,但是外部网络无法访问到容器。
容器访问外部实现【像pptp vpn创建之后,需要通过iptables配置转发到公网一样】
容器所有到外部网络的连接,源地址都会被NAT成本地系统的IP地址。这是使用 iptables 的源地址伪装操作实现的。
查看主机的 NAT 规则。
$ sudo iptables -t nat -nL ... Chain POSTROUTING (policy ACCEPT) target prot opt source destination MASQUERADE all -- 172.17.0.0/16 !172.17.0.0/16 ...
其中,上述规则将所有源地址在 172.17.0.0/16 网段,目标地址为其他网段(外部网络)的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统 SNAT 的好处是它能动态从网卡获取地址。
释义: MASQUERADE: 地址伪装,在iptables中有着和SNAT相近的效果,但也有一些区别。 但使用SNAT的时候,出口ip的地址范围可以是一个,也可以是多个。 例如:如下命令表示把所有10.8.0.0网段的数据包SNAT成192.168.5.3的ip然后发出去 iptables -t nat -A POSTROUTING -s 10.8.0.0/255.255.255.0 -o eth0 -j SNAT --to-source 192.168.5.3 如下命令表示把所有10.8.0.0网段的数据包SNAT成192.168.5.3/192.168.5.4/192.168.5.5等几个ip然后发出去 iptables -t nat -A POSTROUTING -s 10.8.0.0/255.255.255.0 -o eth0 -j SNAT --to-source 192.168.5.3-192.168.5.5 这就是SNAT的使用方法,即可以NAT成一个地址,也可以NAT成多个地址 但是,对于SNAT,不管是几个地址,必须明确的指定要SNAT的ip。 假如当前系统用的是ADSL动态拨号方式,那么每次拨号,出口ip192.168.5.3都会改变而且改变的幅度很大,不一定是192.168.5.3到192.168.5.5范围内的地址,这个时候如果按照现在的方式来配置iptables就会出现问题了 : 因为每次拨号后,服务器地址都会变化,而iptables规则内的ip是不会随着自动变化的,每次地址变化后都必须手工修改一次iptables,把规则里边的固定ip改成新的ip,这样是非常不好用的,MASQUERADE就是针对这种场景而设计的,他的作用是,从服务器的网卡上,自动获取当前ip地址来做NAT比如下边的命令: iptables -t nat -A POSTROUTING -s 10.8.0.0/255.255.255.0 -o eth0 -j MASQUERADE 如此配置的话,不用指定SNAT的目标ip了,不管现在eth0的出口获得了怎样的动态ip,MASQUERADE会自动读取eth0现在的ip地址然后做SNAT出去,这样就实现了很好的动态SNAT地址转换 SNAT: 是source network address translation的缩写,即源地址目标转换,比如,多个PC机使用ADSL路由器共享上网,每个PC机都配置了内网IP,PC机访问外部网络的时候,路由器将数据包的报头中的源地址替换成路由器的ip当外部网络的服务器比如网站web服务器接到访问请求的时候他的日志记录下来的是路由器的ip地址,而不是pc机的内网ip这是因为,这个服务器收到的数据包的报头里边的“源地址”,已经被替换了所以叫做SNAT,基于源地址的地址转换。 DNAT: 是destination network address translation的缩写,即目标网络地址转换,典型的应用是,有个web服务器放在内网配置内网ip,前端有个防火墙配置公网ip,互联网上的访问者使用公网ip来访问这个网站,当访问的时候,客户端发出一个数据包这个数据包的报头里边,目标地址写的是防火墙的公网ip,防火墙会把这个数据包的报头改写一次,将目标地址改写成web服务器的内网ip,然后再把这个数据包发送到内网的web服务器上这样,数据包就穿透了防火墙,并从公网ip变成了一个对内网地址的访问了即DNAT,基于目标的网络地址转换。
11.外部访问容器实现
容器允许外部访问,可以在 docker run 时候通过 -p 或 -P 参数来启用。
不管用哪种办法,其实也是在本地的 iptable 的 nat 表中添加相应的规则。
使用 -P 时:
$ iptables -t nat -nL ... Chain DOCKER (2 references) target prot opt source destination DNAT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:49153 to:172.17.0.2:80 使用 -p 80:80 时: $ iptables -t nat -nL Chain DOCKER (2 references) target prot opt source destination DNAT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:80 to:172.17.0.2:80
注意:
这里的规则映射了 0.0.0.0,意味着将接受主机来自所有接口的流量。用户可以通过 -p IP:host_port:container_port 或 -p IP::port 来指定允许访问容器的主机上的 IP、接口等,以制定更严格的规则。
如果希望永久绑定到某个固定的 IP 地址,可以在 Docker 配置文件 /etc/default/docker 中指定 DOCKER_OPTS="--ip=IP_ADDRESS",之后重启 Docker 服务即可生效。
12.配置docker0网桥:
Docker 服务默认会创建一个 docker0 网桥(其实有一个 docker0 内部接口),它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络。
Docker 默认指定了 docker0 接口 的 IP 地址和子网掩码,让主机和容器之间可以通过网桥相互通信,它还给出了 MTU(接口允许接收的最大传输单元),通常是 1500 Bytes,或宿主主机网络路由上支持的默认值。这些值都可以在服务启动的时候进行配置。
--bip=CIDR -- IP 地址加掩码格式,例如 192.168.1.5/24 --mtu=BYTES -- 覆盖默认的 Docker mtu 配置
也可以在配置文件中配置 DOCKER_OPTS,然后重启服务。 由于目前 Docker 网桥是 Linux 网桥,用户可以使用 brctl show 来查看网桥和端口连接信息。
$ sudo brctl show bridge name bridge id STP enabled interfaces docker0 8000.3a1d7362b4ee no veth65f9 vethdda6
*注:brctl 命令在 Debian、Ubuntu 中可以使用 sudo apt-get install bridge-utils 来安装。
每次创建一个新容器的时候,Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的 eth0 端口。使用本地主机上 docker0 接口的 IP 作为所有容器的默认网关。
$ sudo docker run -i -t --rm base /bin/bash $ ip addr show eth0 24: eth0: <BROADCAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 32:6f:e0:35:57:91 brd ff:ff:ff:ff:ff:ff inet 172.17.0.3/16 scope global eth0 valid_lft forever preferred_lft forever inet6 fe80::306f:e0ff:fe35:5791/64 scope link valid_lft forever preferred_lft forever $ ip route default via 172.17.42.1 dev eth0 172.17.0.0/16 dev eth0 proto kernel scope link src 172.17.0.3 $ exit
13.自定义网桥:
除了默认的 docker0 网桥,用户也可以指定网桥来连接各个容器。
在启动 Docker 服务的时候,使用 -b BRIDGE或--bridge=BRIDGE 来指定使用的网桥。【配置在/etc/default/docker中的DOCKER_OPTS】
如果服务已经运行,那需要先停止服务,并删除旧的网桥。
$ sudo service docker stop $ sudo ip link set dev docker0 down $ sudo brctl delbr docker0 然后创建一个网桥 bridge0。 $ sudo brctl addbr bridge0 $ sudo ip addr add 192.168.5.1/24 dev bridge0 $ sudo ip link set dev bridge0 up
查看确认网桥创建并启动。
$ ip addr show bridge0 4: bridge0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state UP group default link/ether 66:38:d0:0d:76:18 brd ff:ff:ff:ff:ff:ff inet 192.168.5.1/24 scope global bridge0 valid_lft forever preferred_lft forever
配置 Docker 服务,默认桥接到创建的网桥上。
【在配置文件的DOCKER_OPTS添加一个参数】
$ echo ‘DOCKER_OPTS="-b=bridge0"‘ >> /etc/default/docker $ sudo service docker start
启动 Docker 服务。 新建一个容器,可以看到它已经桥接到了 bridge0 上。
可以继续用 brctl show 命令查看桥接的信息。另外,在容器中可以使用 ip addr 和 ip route 命令来查看 IP 地址配置和路由信息。
14.工具作用以及示例【工具为扩展学习,如用得到,将会单起笔记】:
在介绍自定义网络拓扑之前,介绍一些工具:
pipework
Jérme Petazzoni 编写了一个叫 pipework 的 shell 脚本,可以帮助用户在比较复杂的场景中完成容器的连接。
playground
Brandon Rhodes 创建了一个提供完整的 Docker 容器网络拓扑管理的 Python库,包括路由、NAT 防火墙;以及一些提供 HTTP, SMTP, POP, IMAP, Telnet, SSH, FTP 的服务器。
15.编辑网络配置文件
Docker 1.2.0 开始支持在运行中的容器里编辑 /etc/hosts, /etc/hostname 和 /etc/resolve.conf 文件。
但是这些修改是临时的,只在运行的容器中保留,容器终止或重启后并不会被保存下来。也不会被 docker commit 提交。
16.创建一个点到点连接
默认情况下,Docker 会将所有容器连接到由 docker0 提供的虚拟子网中。
用户有时候需要两个容器之间可以直连通信,而不用通过主机网桥进行桥接。
解决办法很简单:创建一对 peer 接口,分别放到两个容器中,配置成点到点链路类型即可。
首先启动 2 个容器:
$ sudo docker run -i -t --rm --net=none base /bin/bash [email protected]:/# $ sudo docker run -i -t --rm --net=none base /bin/bash [email protected]:/#
找到进程号,然后创建网络名字空间的跟踪文件。
$ sudo docker inspect -f ‘{{.State.Pid}}‘ 1f1f4c1f931a 2989 $ sudo docker inspect -f ‘{{.State.Pid}}‘ 12e343489d2f 3004 $ sudo mkdir -p /var/run/netns $ sudo ln -s /proc/2989/ns/net /var/run/netns/2989 $ sudo ln -s /proc/3004/ns/net /var/run/netns/3004
创建一对 peer 接口,然后配置路由
$ sudo ip link add A type veth peer name B $ sudo ip link set A netns 2989 $ sudo ip netns exec 2989 ip addr add 10.1.1.1/32 dev A $ sudo ip netns exec 2989 ip link set A up $ sudo ip netns exec 2989 ip route add 10.1.1.2/32 dev A $ sudo ip link set B netns 3004 $ sudo ip netns exec 3004 ip addr add 10.1.1.2/32 dev B $ sudo ip netns exec 3004 ip link set B up $ sudo ip netns exec 3004 ip route add 10.1.1.1/32 dev B
以上是关于Docker 学习笔记 Docker 仓库数据卷数据卷容器,网络基础实操。高级网络配置学习的主要内容,如果未能解决你的问题,请参考以下文章