DockerCompose容器编排&LNMP上云

Posted Al6n Lee

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DockerCompose容器编排&LNMP上云相关的知识,希望对你有一定的参考价值。

文章目录

什么是Docker-Compose

Compose 是 Docker 公司推出的一个工具软件,可以管理多个 Docker 容器组成一个应用。你需要定义一个 YAML 格式的配置文件docker-compose.yml,写好多个容器之间的调用关系。然后,只要一个命令,就能同时启动/关闭这些容器

Docker-Compose是Docker官方的开源项目, 负责实现对Docker容器集群的快速编排。

通过一个单独的docker-compose.yml模板文件(YAML 格式)来定义一组相关联的应用容器为一个项目(project)。

下载安装

Compose核心概念

  • 一文件

    docker-compose.yml
  • 两要素

    • 服务(service)

      一个个应用容器实例,比如订单微服务、库存微服务、mysql容器、nginx容器或者redis容器

    • 工程(project)

      由一组关联的应用容器组成的一个完整业务单元,在 docker-compose.yml 文件中定义。

  • 三个步骤

    • 编写Dockerfile定义各个微服务应用并构建出对应的镜像文件
    • 使用 docker-compose.yml 定义一个完整业务单元,安排好整体应用中的各个容器服务。
    • 最后,执行docker-compose up命令 来启动并运行整个应用程序,完成一键部署上线

Compose常用命令

命令说明
docker-compose -h查看帮助
docker-compose up启动所有docker-compose服务
docker-compose up -d启动所有docker-compose服务并后台运行
docker-compose down停止并删除容器、网络、卷、镜像
docker-compose exec yml里面的服务id进入容器实例内部 docker-compose exec docker-compose.yml文件中写的服务id /bin/bash
docker-compose ps展示当前docker-compose编排过的运行的所有容器
docker-compose top展示当前docker-compose编排过的容器进程
docker-compose logs yml里面的服务id查看容器输出日志
docker-compose config检查配置
docker-compose config -q检查配置,有问题才有输出
docker-compose restart重启服务
docker-compose start启动服务
docker-compose stop停止服务

Django+Mysql+Redis+Nginx部署

  • 部署架构

    按照一个进程一个容器原则,本次部署一共有下面几个容器(celery和uwsgi与web耦合较高未进行拆分)

    • Redis 容器:缓存服务

    • Mongo容器: 用户行为日志存储

    • Mysql 容器:数据存储

    • Django(uwsgi,celery)容器:处理动态请求

    • Nginx 容器:反向代理,处理静态资源

    • featech_v2_0 是 django 项目目录

    • deployment 文件夹放置了除 Django 容器外的四个容器配置信息以及其他挂载(容器和宿主机的共享卷)的其他文件。

    • Dockerfile:docker 环境文件

    • docker-compose.yml:编排容器文件

  • 构建django容器 - - - dockerfile编写

    # 使用python:3.7.3作为基础镜像
    FROM python:3.7.3
    
    # 设置 python 环境变量
    ENV PYTHONUNBUFFERED 1
    
    # 创建项目目录并将本地项目目录文件复制到容器
    RUN mkdir /featech_v2_0
    COPY ./featech_v2_0  /featech_v2_0
    
    # 设置工作目录,后续容器的操作都是基于此目录
    WORKDIR /featech_v2_0
    
    # 设置pip源(科学上网者可忽略)
    RUN pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
    RUN pip config set install.trusted-host mirrors.aliyun.com
    
    # 升级pip并安装python依赖
    RUN pip install -U pip
    RUN pip install -r /featech_v2_0/requirement.txt
    
    # 暴露端口8888
    EXPOSE 8888
    
  • 构建Nginx容器

    Nginx容器dockerfile编写(这一步有点多余了,其实这里只是简单的创建了几个文件夹,完全可以放到docker-compose.yml中的command执行)

    • dockerfile编写
      # nginx镜像
      FROM daocloud.io/nginx
      
      # 创建静态资源文件夹和ssl证书保存文件夹
      RUN RUN mkdir -p /usr/share/nginx/html/static;mkdir -p /usr/share/nginx/html/media;mkdir -p /usr/share/nginx/ssl
      
    • 修改Nginx配置文件

      配置反向代理时,注意 host 一定要改为 web,web即是django容器的名称(在docker-compose.yml中配置)

      server 
          listen 80; # 监听80端口
          server_name  127.0.0.1;  # 生产环境请换成域名
          location / 
              proxy_pass http://web:8000; # 反向代理 django容器8000端口,web为django容器名称,切记不要写域名或者ip
              proxy_set_header Host $host;
              proxy_redirect off;
              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
          
          location /static/ 
              alias /usr/share/nginx/html/static/; #静态资源路径
          
          location /media/ 
              alias /usr/share/nginx/html/media/; #上传文件路径
          
      
      
  • docker-compose 编排容器

    docker-compose.yml

    version: '3'
    services:
      redis:
        image: daocloud.io/redis:3
        container_name: featech_redis
        command: redis-server
        volumes:
          - ./deployment/redis/data:/data  # 挂载数据库数据文件夹
        ports:
          - "6373:6379"
        restart: always # always表容器运行发生错误时一直重启
      
      db:
        image: mysql:5.7
        container_name: featech_db
        ports:
          - "3303:3306"
        volumes:
          - ./deployment/mysql/data:/var/lib/mysql # 挂载数据库数据
          #    - ./deployment/mysql/conf/my.cnf:/etc/mysql/my.cnf # 挂载配置文件
          - ./deployment/mysql/init:/docker-entrypoint-initdb.d/ # 挂载数据初始化sql脚本
        
        environment:
          MYSQL_ROOT_PASSWORD: 12345678  # 数据库密码
          MYSQL_DATABASE: fetach_v2_0  # 数据库名称
          LNAG: C.UTF-8
        command: ['mysqld', '--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci']
      web:
        build: .
        container_name: featech_v2_0
        
        # tty: true  如果web容器出错想进入容器做修改时,此配置可分配一个伪终端让容器先运行起来
        
        # 容器启动后启动通过uwsgi启动django应用并启动celery,这里我简单实用了nohup启动celery,可选择使用supervisor管理
        command: uwsgi --ini uwsgi && nohup celery -A celery_tasks.sms.tasks worker -l info >> celery_log/celery.log 2>&1 &
        
        depends_on:
          - db
          - redis
          - mongo
        links:
          - db
          - redis
          - mongo
        volumes:
          - ./featech_v2_0:/featech_v2_0  # 挂载项目目录
        restart: always
        ports:
          - "8888:8888"
      nginx:
        build: deployment/nginx
        container_name: featech_nginx
        ports:
          - "80:80"
          - "443:443"
        expose:
          - "8888"
        volumes:
          - ./featech_v2_0/static:/usr/share/nginx/html/static # 挂载静态文件
          - ./featech_v2_0/frontEnd:/usr/share/nginx/html/frontEnd # 挂载静态文件
          - ./featech_v2_0/media:/usr/share/nginx/html/upload # 挂载上传文件
          - ./deployment/nginx/ssl:/usr/share/nginx/ssl # 挂载ssl证书目录
          - ./deployment/nginx/conf/conf.d:/etc/nginx/conf.d # 挂载配置文件
        links:
          - web
        depends_on:
          - web
        restart: always
      mongo:
        image: mongo:4.0
        container_name: featech_mongo
        hostname: mongo
        restart: always
        ports:
          - "27013:27017"
        environment:
          TZ: Asia/Shanghai
        #MONGO_INITDB_DATABASE: test
        #MONGO_INITDB_ROOT_USERNAME: root
        #MONGO_INITDB_ROOT_PASSWORD: 123456
        volumes:
          - /etc/localtime:/etc/localtime
          - ./deployment/mongo/data:/data/db
          - ./deployment/mongo/init:/docker-entrypoint-initdb.d/
        command: mongod
    

    redis,db,web,nginx,mongo为容器名称。

    • image 表示拉取镜像名称,build会在给定目录下寻找 Dockerfile 并构建容器环境。
    • expose 表示将端口暴露给其他容器,但不暴露给主机(不同容器默认相互隔离)。
    • ports 表示将该容器端口映射到主机端口(从右往左读,例如ports: -

      “3303:3306”,是指把容器的3306端口映射到主机的3303端口),同时该容器端口也会对其他容器开放。

    • volumes

      表示挂载,就是将本机的文件和容器中的文件映射起来,容器和本地环境本来是隔离的,挂载相当于是凿了一个小洞,让两者数据可以互通。

    • links 表示将容器互联起来。
    • depends_on:表示依赖关系,因为容器的启动有先后顺序,django 容器依赖于 mysql 容器和 redis

      容器(django需要从数据库和缓存中读写数据),而 nginx 依赖于 django 容器(nginx 容器需要反向代理 django容器的8888端口)

  • Django项目配置

    • settings.py文件配置

      将 数据库连接 HOST 改为 mysql 容器名称 db

      DATABASES = 
          'default': 
              'ENGINE': 'django.db.backends.mysql',  # mysql驱动
              'NAME': 'fetach_v2_0',  # 数据库名称
              'USER': 'root',  # 登录帐号
              'PASSWORD': '12345678',  # 登录密码
              'HOST': 'db',  # 主机地址(容器部署)
              # 'HOST': '127.0.0.1',  # 主机地址
              'PORT': '3306',  # 端口
              'OPTIONS': 'charset': 'utf8mb4',
          
      
      

      将缓存配置中的 host 改为 redis 容器名称 redis(如果你配置了redis作为缓存的话,没配置的话请忽略)

      CACHES = 
          'default': 
              'BACKEND': 'django_redis.cache.RedisCache',
              'LOCATION': 'redis://redis:6379',  # redis(容器)
              # 'LOCATION': '127.0.0.1:6379',
              'OPTIONS': 
                  "CLIENT_CLASS": "django_redis.client.DefaultClient",
                  "CONNECTION_POOL_KWARGS": "max_connections": 100,
                  'SOCKET_TIMEOUT': 10,
              ,
          ,
      
      

      生产环境部署请将 settings.py 中的 DEBUG = True 改为 DEBUG = False以关闭debug模式。

      broker_url = "redis://redis/2"
      result_backend = "redis://redis/3"
      

custom_web

由于Docker-Compose编排 导致项目调试无法本地操练,下面决定手动一个一个启动容器

  • mysql容器

    对外暴露端口3307

    [client]
    default_character_set=utf8
    [mysqld]
    collation_server = utf8_general_ci
    character_set_server = utf8
    

  • redis容器

    对外暴露6373

  • Django容器

    • requirements文件生成
      记得加uwsgi模块

    • Dockerfile文件编写

      FROM python:3.10.10
      MAINTAINER alan@al6nlee.com
      # 以下是重点,.的意思是把当前目录的所有文件(包含文件夹)copy到镜像/SeeStar中
      RUN mkdir /custom_web
      COPY ./custom_web  /custom_web
      WORKDIR /custom_web
      RUN pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
      RUN pip config set install.trusted-host mirrors.aliyun.com
      RUN pip install -U pip
      RUN pip install -r /custom_web/requirements.txt
      
      CMD ["uwsgi", "--ini", "uwsgi.ini"]
      
    • uwsgi.ini文件编写

      [uwsgi]
      # Django-related settings
      #socket = :8001
      http = :8888
      # the base directory (project full path)
      chdir = /custom_web
      # Django s wsgi file
      wsgi-file = /custom_web/custom_web/wsgi.py
      master = true
      processes = 4
      chmod-socket = 664
      vacuum = true
      pidfile = pid.uwsgi
      # run process background and save log to daemonize
      # daemonize = UWSGI.log
      

    • 构建

    • 启动

    • 展示

  • Nginx容器

    docker run -it -p 80:80 
    -v ./custom_web/static:/usr/share/nginx/html/static 
    -v ./custom_web/frontEnd:/usr/share/nginx/html/frontEnd 
    -v ./custom_web/media:/usr/share/nginx/html/upload 
    -v ./nginx/ssl:/usr/share/nginx/ssl 
    -v ./nginx/conf/conf.d:/etc/nginx/conf.d 
    605c77e624dd
    


以上是关于DockerCompose容器编排&LNMP上云的主要内容,如果未能解决你的问题,请参考以下文章

docker高级管理(docker-compose编排工具,consul架构)

Docker Compose编排(写法格式及实验)

Docker Compose编排(写法格式及实验)

赵强老师使用Docker Compose进行服务编排

Docker容器之Compose编排consul集群template模板

云原生时代必须具备的核心技能之Docker高级篇(DockerCompose-容器编排)