docker故障词典

Posted 2022-01-14 Friends of the wind

Docker是一种相对使用较简单的容器，通过以下几种方式获取信息：

1、通过docker run执行命令，或许返回信息

2、通过docker logs 去获取日志，做有针对性的筛选

3、通过systemctl status docker查看docker服务状态

4、通过journalctl -u docker.service 查看日志

常见问题：

一、启动类故障

1、docker: Cannot connect to the Docker daemon at?unix:///var/run/docker.sock. Is the docker daemon running?

原因：Docker未正常启动

解决方式：systemctl start docker

2、can’t create unix socket /var/run/docker.sock: is a directory

原因：docker.sock不能创建

解决方式：rm -rf /var/run/docker.sock然后重新启动docker

3、Job for docker.service failed. Failed to start Docker Application

原因：Selinux引起

解决方式：/etc/sysconfig/selinux , 把 selinux 值改为disabled重启docker解决

4、docker: Error response from daemon:/var/lib/docker/overlay/XXXXXXXXXXXXXXXXXXXXXXX: no such file or?directory.

原因：docker没有指定目录或文件

解决方式：systemctl stop dockerrm -rf /var/lib/docker/*systemctl start docker重启run镜像启动容器

5、docker: Error response from daemon: Conflict. The container name?“XXX” is already in use by container “XXX”. You have to remove (or?rename) that container to be able to reuse that name.

原因：docker name重名

解决方式：改名容器或者删除重建容器

6、Error: Connection activation failed: No suitable device found for this connection

原因：网卡配置问题

解决方式：重启网卡

7、系统重启后docker无法启动

报错为：docker0: iptables: No chain/target/match by that name

原因：docker服务iptables问题

解决方式：重启docker服务system restart docker

8、Error starting daemon: error initializing graphdriver: driver not?supported

使用overlay2存储驱动启动docker daemon报错

原因：daemon缺少配置

解决方式：添加配置：/etc/docker/daemon.json“storage-driver”: “overlay2”,“storage-opts”: “overlay2.override_kernel_check=true”]

9、Failed to start docker.service: Unit docker.service is masked.

未知原因：docker 被mask

解决方式：systemctl unmask docker.servicesystemctl unmask docker.socketsystemctl start ocker.service

10、Failed to start docker.service: Unit is not loaded properly: Invalid argument.

未知原因：docker服务无法正常load

解决方式：卸载docker， 删除docker.service

重新安装docker

11、docker-compose启动容器时报错：

/usr/lib/python2.7/site-packages/requests/init.py:80: RequestsDependencyWarning: urllib3 (1.22)?or chardet (2.2.1) doesn’t match a? supported version! RequestsDependencyWarning)

未知原因：pip相应组件版本不支持

解决方式：pip uninstall urllib3pip uninstall chardetpip install requests

12、docker容器重启故障

强杀docker进程后，重启docker。docker中的容器无法启动并报错

docker restart XXXXXXX Error response from daemon: Cannot restart container XXXXXXX: container?“XXXXXXXXXXXXXXXX”: already exists

原因：旧容器未安全退出

解决方式：

docker-containerd-ctr --address /run/docker/containerd/docker-containerd.sock --namespace c?rm <容器hash_id>docker start 容器

13、docker重启错误-重启命令一直卡住

systemctl restart docker 卡住

未知原因：可能是启动的容器数量过多，或者磁盘IO问题

解决方式：systemctl start docker-cleanup.servicesystemctl start docker

二、权限问题报错

14、Got permission denied while trying to connect to the Docker daemon?socket at unix:///var/run/docker.sock

解决方式：查看 /var/run/docker.sock所在用户组将用户重新加入docker组中，usermod -aG docker $USER

15、chown socket at step GROUP: No such process

原因：docker无法找到Group组信息，docker组有可能被误删除，

解决方式：groupadd docker

16、原因：非Root用户管理Docker时，权限不足

解决方式：groupadd dockerusermod -a -G docker user

17、docker commit镜像时报错Error processing tar file(exit status 1): unexpected EOF原因：可能是权限问题引起

解决方式：chmod +x 加一个执行权限

三、镜像和仓库问题报错

18、原因：Docker仓库无法访问

解决方式：修改Docker仓库源为国内或者自建的仓库源修改/etc/docker/daemon.json

19、推送本地镜像报错

The push refers to a repository [XXXX] Get原因：docker registry未采用https服务所致

解决方式：

/etc/docker/daemon.json 文件写入： “insecure-registries”:[""]

20、/usr/bin/docker-current: Error response from daemon: oci runtime error: container_linux.go: starting?container process caused “exec: “/bin/bash”: executable file not found in $PATH”.

原因：Docker镜像自身问题或者Docker引擎版本比较低导致

解决方式：可以升级Docker版本服务

21、构建镜像，执行chown -R非常慢

原因：Docker使用写时复制策略，所以chown命令执行时，会将上层镜像文件全部复制到当前层，然后再修改权限，再写入文件系统。

解决方式：不应该使用chown -R 这类大批量修改文件的命令

22、docker build构建镜像的时候报错：

Message from syslogd kernel:unregister_netdevice: waiting for lo to become free. Usage count = 1

原因：docker engine版本过高

解决方式：docker engine版本需要和docker内部镜像的内核版本匹配

23、docker: Error response from daemon: containerd: container did not start before the specified time-out.ERRO[0133] error getting events from daemon: context canceled

原因：修改完docker root dir，重启后，下载镜像报错

解决方式：重启docker服务或者重启服务器

四、资源问题报错

25、Docker no space left on device

原因：空间不足

解决方式：清理空间,删除未被使用的容器，镜像等资源docker system prune -a

26、/var/lib/docker/containers 占用过大

原因：日志文件占用过大

解决方式：cat /dev/null > *-json.log

或者增加dockerd启动参数，/etc/docker/daemon.json“log-driver”:“json-file”,“log-opts”: “max-size”:“2G”, “max-file”:“10”

27、max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

原因：系统参数默认配置过小

解决方式：修改/etc/sysctl.conf里面的vm.max_map_count 调大

28、Got starting container process caused "process_linux.go:301:running exec setns process for init caused “exit status 40"”: unknown.from time to time

原因：可能是cache问题引起

解决方式：echo 1 > /proc/sys/vm/drop_caches

29、docker本机启动多台容器导致出现后续容器启动失败

原因：查看硬盘空间是否满，如果不是硬盘空间问题引起

解决方式：vim /etc/sysctl.conf添加参数 fs.aio-max-nr = 1048576sysctl -p

30、Docker启动异常，状态反复restarting

Docker logs 容器名，查看异常日志

查看/var/log/messages

原因：内存跑满，引起OOM

解决方式：释放内存后，再启动容器

五、版本不兼容报错

31、overlayfs: Can’t delete file moved from base layer to newly created?dir even on ext4

原因：Centos 提供的文件系统 XFS 和 Overlay 兼容问题导致,

解决方式：这个问题的修复在内核 4.4.6以上

32、docker: Error response from daemon: OCI runtime create failed:?container_linux.go:344: starting container process caused?“process_linux.go:297: getting the final child’s pid from pipe caused?“read init-p: connection reset by peer””: unknown.

原因：Docker版本和操作系统版本不匹配

解决方式：重新安装和操作系统内核支持的docker 版本

六、网络或端口问题报错

33、WARNING: IPv4 forwarding is disabled. Networking will not work.

原因：ipv4网络无法转发

解决方式:/usr/lib/sysctl.d/00-system.conf

在最后一行添加net.ipv4.ip_forward=1

重启network服务。删除错误的容器，再次创建新容器

34、Creating network “xxxxxxx” with the default driver

原因：docker网关冲突

启动容器、docker-compose启动容器后，断网问题

解决方式：配置 docker-compose.yml内给启动的容器配置参数network_mode: “bridge”

35、Unable to find a node that satisfies the following conditions [port xxxx]

原因：当容器使用端口映射(docker run -p xxxx:xxxx或 compose模板中的

ports)之后 系统会在宿主机上创建一个port，通过NAT来访问容器的指定port。如果宿主机上的端口被容器或者系统进程占用，就会导致端口分配失败。

解决方式：清除占用端口的容器或者进程，或调整容器端口映射的宿主机端口避免冲突

36、Error response from daemon: service endpoint with name xxx already

原因：端口已经被占用

解决方式：重启docker容器

37、docker: Error response from daemon: driver failed programming external?connectivity on endpoint XXXXX: Bind for 0.0.0.0:80 failed: port is?already allocated

原因：容器端口冲突

解决方式：更换宿主机绑定端口

七、Docker安装报错

38、安装docker报Requires: container-selinux >= 2.9

原因：container-selinux版本低或者是没安装的原因

解决方式：wget -O /etc/yum.repos.d/CentOS-Base.repoyum install epel-releaseyum makecacheyum install container-selinux

39、安装docker-compose时报错

“ImportError: ‘module’ object has no attribute ‘check_specifier’”

原因：setuptools版本问题

解决方式：升级setuptools到30.1.0版本以上版本pip install --upgrade setuptools

40、安装docker-compose时报错

DEPRECATION: Python 2.7 will reach the end of its life on January 1st,?2020. Please upgrade your Python as Python 2.7 won’t be maintained?after that date. A future version of pip will drop support for Python?2.7.

原因：python2.7提示升级

解决方式：pip install -i

八、Docker删除报错

41、docker删除容器报错

Error response from daemon:Driver overlay failed to remove root filesystem xxxxx: remove/var/lib/docker/overlay2/xxxxx/merged: device or resource busy

原因：容器挂载数据卷，无法直接删除

解决方式：grep docker /proc/*/mountinfo | grep xxxxx

kill进程后 再重新删除容器

42、状态dead的容器删除报错

Error response from daemon: Driver aufs failed to remove root filesystem XXXXXXXXXXXXXXXX:?aufs: unmount error after retries: /var/lib/docker/aufs/mnt/xxxxxxxx: device or resource busy

原因：dead状态容器无法删除，还在占用资源

解决方式：docker rm -fv 容器id 过几分钟后会自动删除

43、docker删除镜像报错

Error response from daemon: conflict: unable to remove repository reference “XXXX” (must?force) - container XXXX is using its referenced image YYYY

原因：镜像正在被某容器使用

解决方式：需要删除相关ID容器后，才能删除镜像

44、docker删除镜像报错

Error response from daemon: conflict: unable to delete XXXXXXXXXX (must be forced) - image?is referenced in multiple repositories

原因：镜像login push 了远端其他仓库

解决方式：如果不需要此镜像， docker rmi -f 强删

45、docker删除镜像报错

Error response from daemon: conflict: unable to delete XXX (cannot be forced) - image has?dependent child images

原因：存在依赖于父镜像的子镜像

解决方式：强制删除镜像或者批量删除容器，再删除镜像

九、其他报错

46、docker: Error response from daemon: driver failed programming external connectivity on end-point XXXXXXX: (iptables failed: iptables --wait -t filter -A DOCKER ! -i docker0 -o docker0 -p tcp -d?172.17.0.2 --dport 8080 -j ACCEPT: iptables: No chain/target/match by that name.

原因：防火墙问题引起

解决方式：关闭防火墙，重启docker

47、执行docker info出现如下警告

WARNING: bridge-nf-call-iptables is disabled

WARNING: bridge-nf-call-ip6tables is disabled

原因：配置问题引起，需要启用bridge-nf-call-iptables

解决方式：vi /etc/sysctl.conf

添加以下内容

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

net.bridge.bridge-nf-call-arptables = 1

48、docker数据库相关报错

使用Docker创建mysql容器闪退

Database is uninitialized and password option is not specified

解决方式：docker run -d -e MYSQL_ROOT_PASSWORD=[密码] -p 3306:3306 mysql镜像

为避免出现各种奇怪且偶发的问题，应该有规范的去使用docker容器，最大程度的去避免因为使用不当而引起的故障，参考以下：

尽量使用最近1-2年的新的稳定的docker版本

不要去安装今年前很老的版本，大量的bug已经被新版本更新解决掉了

尽量不要去创建非常大的镜像，比如5G10G

镜像要尽量轻量化，去除不必要的软件，数据等

容器内挂载宿主机配置，使用只读

容器需要-v 宿主机的配置文件，尽量使用ro只读

数据要挂载宿主机物理硬盘或存储节点上

不要直接在容器里run，避免容器宕机引起数据丢失

应用日志一定要挂到宿主机上

不要直接打印到容器内，避免只能docker logs方式查看，避免去vulume目录里查看日志

不要只使用latest标签

Tag要有个管理标准，可以根据tag查找对应版本

不要使用容器ip，配置里更不能写死（默认172.17.0.x）

容器重启后，ip很可能会变

尽量不要在单容器内跑多进程

容器不是虚拟机，尽量做到1个容器，1个进程

跨环境镜像保持一致

不论是测试，UAT，生产环境，尽量保持同一个镜像，不要变更，环境变更只需要变更环境变量参数做区分

一定监控docker容器，即使发现问题

建议使用prometheus监控容器

一定要限制docker容器的资源

尤其是CPU，内存，硬盘空间，甚至是网络等，避免侵占宿主机的硬件资源

---