centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

Posted 2020-11-23 duhy

1.先决条件centos7+docker最新版本

 sudo yum updat

2.配置一下镜像源，创建/etc/docker/daemon.conf文件，在其中输入如下内容

{
 "registry-mirrors": ["https://registry.docker-cn.com"]
}

3.启动docker命令:

systemctl start docker 

重启docker服务：

service docker restart

4.查看和下载Crawlab的镜像命令 ：

docker search crawlab                   #（查找Crawlab镜像）

docker pull tikazyq/crawlab:latest       #（下载Crawlab镜像）

5.创建docker组：

sudo groupadd docker    （删除docker这个用户：userdel -r docker）

6.centos7查看所有用户：

cut -d : -f 1 /etc/group

7.将您的用户添加到该docker用户组，命令：

sudo usermod -aG docker 用户名

8.查看“docker”组下的所有用户，命令：

  grep 'docker' /etc/group

9.Docker Compose安装

sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

稍等片刻，有点慢！！！！

赋权:

sudo chmod +x /usr/local/bin/docker-compose

查看版本:

docker-compose --version

10.查找docker-compose.yml文件位置:

find / -name "docker-compose.yml*"

(会出现find: ‘/run/user/1000/gvfs’: 权限不够，执行：umount /run/user/1000/gvfs 和 rm -rf /run/user/1000/gvfs,再执行就不会出错了！！！

11.图中：

/var/lib/docker/overlay2/50df4de9bf340501cade27650953ad983948b10e13bbe931710ef090ab1a4602/diff/app/docker-compose.yml-----------是我的路径

cd 到app目录就可以了

vim docker-compose.yml   #编辑

注意： 新版镜像的CRAWLAB_API_ADDRESS是这样的： CRAWLAB_API_ADDRESS: "http://192.168.157.128:8000"

12.启动 Crawlab

? cd 进入到docker-compose.yml 所在文件目录下

? 才能运行：docker-compose up 集群启动容器，否则找不到文件

查看woker容器日志命令：docker-compose logs worker

正常会启动四个容器：master、woker、redis、mongo

第一次次启动会下载安装并配置节点和数据库（redis 和mongodb）

13.Crawlab

浏览器访问 ：http://ip:8080 用户名密码是 admin/admin

第一次访问没问题，但是第二次启动会报各种错，博主正在研究中-----持续更新中！！！