ARM架构-银河麒麟v10-server离线安装Harbor

Posted 2023-04-07 Fiona_q

​​​​​​​

咱也刚接触Harbor，在x86上部署倒是没什么问题，在arm上部署还是费了一些事的，趟了一些小坑，基本填平，小白学习中，请多指教。

目录

1. 安装docker-compose环境

2.harbor离线安装准备

3.Https方式部署

3.1 生成CA证书私钥

3.2 生成CA证书

3.3 生成一个x509 v3扩展文件

3.4 使用该v3.ext文件为您的Harbor主机生成证书

3.4 重新启动Docker Engine

4. 修改harbor.yml配置文件

5. 执行harbor部署

6. 查看harbor安装情况

7. redis一直处于restarting

8. hosts中配置harbor域名

9. 在控制台登录harbor

---

1. 安装docker-compose环境

安装docker-compose

cd /root/k8s/docker-compose/
cp ./docker-compose-linux-aarch64 ./docker-compose
mv docker-compose /usr/local/bin/
chmod +x /usr/local/bin/docker-compose
docker-compose -v //查看版本

2.harbor离线安装准备

准备harbor离线包及部分镜像包

ps:harbor-arm安装包也是找了好久的，官方的包貌似更适配x86架构，在百度茫茫博客中找到了一个arm架构的包，倒也不是完全适配的，又后续替换了redis，补充了trivy，才算是齐备的harbor-arm安装包啦~

言归正传~Harbor有两种部署方式：http和https，经过尝试已知http方式只能部署harbor，无法登陆harbor仓库，对于我而言，并不能解决我的问题，安装方式也极其简单，此处不再进行记录；https方式可以实现仓库登陆，但是配置过程更加复杂，但是没有办法，我也只能采用这种方式。

哒哒哒哒~拿到安装包的第一步当然是解压看看里面的内容！

3.Https方式部署

默认情况下，Harbor不附带证书。要配置HTTPS，必须创建SSL证书。可以使用由受信任的第三方CA签名的证书，也可以使用自签名证书。本节介绍如何使用OpenSSL创建CA，以及如何使用CA签署服务器证书和客户端证书。您可以使用其他CA提供程序，例如Let’s Encrypt。

可以以registry.harbor.com域名为例进行配置，也可以直接使用IP地址代替域名配置https，但在生成证书时有两处配置稍有不同。

官方文档：https://goharbor.io/docs/2.0.0/install-config/configure-https/

在生产环境中，您应该从CA获得证书。在测试或开发环境中，您可以生成自己的CA。要生成CA证书，请运行以下命令。

3.1 生成CA证书私钥

#创建目录保存证书（可选）
mkdir -p /root/harbor/ssl
cd /root/harbor/ssl

openssl genrsa -out ca.key 4096

3.2 生成CA证书

调整-subj选项中的值以反映您的组织。如果使用FQDN连接Harbor主机，则必须将其指定为通用名称（CN）属性。

openssl req -x509 -new -nodes -sha512 -days 3650 \\
 -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=registry.harbor.com" \\
 -key ca.key \\
 -out ca.crt
 
 
 
如果使用IP地址，需要在执行以上命令前执行以下操作：

cd /root
openssl rand -writerand .rnd
cd -

生成服务器证书

证书通常包含一个.crt文件和一个.key文件，例如yourdomain.com.crt和yourdomain.com.key。

1、生成私钥。

openssl genrsa -out registry.harbor.com.key 4096

2、生成证书签名请求（CSR）。

调整-subj选项中的值以反映您的组织。如果使用FQDN连接Harbor主机，则必须将其指定为通用名称（CN）属性，并在密钥和CSR文件名中使用它。

openssl req -sha512 -new \\
    -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=registry.harbor.com" \\
    -key registry.harbor.com.key \\
    -out registry.harbor.com.csr

3.3 生成一个x509 v3扩展文件

无论您使用FQDN还是IP地址连接到Harbor主机，都必须创建此文件，以便可以为您的Harbor主机生成符合主题备用名称（SAN）和x509 v3的证书扩展要求。替换DNS条目以反映您的域。

cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=registry.harbor.com
DNS.2=registry.harbor
DNS.3=harbor
EOF

如果使用ip，需要使用如下方式进行创建：

cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = IP:192.168.93.9
EOF

3.4 使用该v3.ext文件为您的Harbor主机生成证书

将yourdomain.comCRS和CRT文件名中的替换为Harbor主机名。

openssl x509 -req -sha512 -days 3650 \\
    -extfile v3.ext \\
    -CA ca.crt -CAkey ca.key -CAcreateserial \\
    -in registry.harbor.com.csr \\
    -out registry.harbor.com.crt
	
	
提供证书给Harbor和Docker

生成后ca.crt，yourdomain.com.crt和yourdomain.com.key文件，必须将它们提供给harbor和docker，和重新配置harbor使用它们。

1、将服务器证书和密钥复制到Harbor主机上的certficates文件夹中。

mkdir -p /data/cert
cp registry.harbor.com.crt /data/cert/
cp registry.harbor.com.key /data/cert/


2、转换yourdomain.com.crt为yourdomain.com.cert，供Docker使用。
Docker守护程序将.crt文件解释为CA证书，并将.cert文件解释为客户端证书。

openssl x509 -inform PEM -in registry.harbor.com.crt -out registry.harbor.com.cert

3、将服务器证书，密钥和CA文件复制到Harbor主机上的Docker证书文件夹中。您必须首先创建适当的文件夹。

mkdir -p /etc/docker/certs.d/registry.harbor.com/
cp registry.harbor.com.cert /etc/docker/certs.d/registry.harbor.com/
cp registry.harbor.com.key /etc/docker/certs.d/registry.harbor.com/
cp ca.crt /etc/docker/certs.d/registry.harbor.com/


如果将默认nginx端口443映射到其他端口，请创建文件夹/etc/docker/certs.d/yourdomain.com:port或/etc/docker/certs.d/harbor_IP:port。(省略)

3.4 重新启动Docker Engine

systemctl restart docker

4. 修改harbor.yml配置文件

跳转到harbor所在的目录，没有所谓的harbor.yml，但是有harbor.yml.tmpl，那就cp出harbor.yml，并修改文件中的hostname及https下的证书路径：

cd /root/k8s/harbor230/harbor

并

cp harbor.yml.tmpl harbor.yml

#只需修改hostname及https下的证书路径即可，其他保持默认

[root@harbor harbor]# vi harbor.yml
# Configuration file of Harbor

# The IP address or hostname to access admin UI and registry service.
# DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
hostname: registry.harbor.com

# http related config
http:
  # port for http, default is 80. If https enabled, this port will redirect to https port
  port: 80

# https related config
https:
  # https port for harbor, default is 443
  port: 443
  # The path of cert and key files for nginx
  certificate: /data/cert/registry.harbor.com.crt
  private_key: /data/cert/registry.harbor.com.key
...

5. 执行harbor部署

./install.sh --with-trivy

因为我这边的需求要实现镜像扫描，所以我是安装了扫描器的：trivy，安装包需要特地下载一下的。

6. 查看harbor安装情况

#在harbor文件夹下使用docker-compose命令，也是在实践过程中发现docker-compose要在docker-compose所在的目录下才能使用，也不知道是我的问题还是它的问题。

docker-compose ps

7. redis一直处于restarting

#如果redis一直是restarting的状态：
[root@harbor230 ~]# docker load < trivy-adapter-photon_v2.3.4.tar
[root@harbor230 ~]# docker load < redis.tar    #加载新下载的redis-arm的镜像包

#将之前harbor安装包自带的redis容器删除掉，并将新下载的redis重新打上标签，使用新的redis镜像包
docker rmi -f goharbor/redis-python:v2.3.4的镜像ID
docker stop 正在运行的容器ID
docker rm 正在运行的容器id
docker rmi -f goharbor/redis-python:v2.3.4的镜像ID
docker tag redis:latest goharbor/redis-python:v2.3.4

#重启harbor组件镜像包：
docker-compose down -v
docker-compose up -d

8. hosts中配置harbor域名

#在hosts文件加入以下内容
192.168.0.190 registry.harbor.com

#hosts是系统文件，修改后，需要重启主机
reboot

9. 在控制台登录harbor

docker login registry.harbor.com
Username: admin
Password: Harbor12345
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

至此，harbor算是可以使用啦~~~在网页端通过域名或地址访问就好啦

~~地址访问：https://192.168.0.190:443

~~域名访问：应该是需要给浏览器配置一下ca证书

某些浏览器可能会显示警告，指出证书颁发机构（CA）未知。使用不是来自受信任的第三方CA的自签名CA时，会发生这种情况。可以将CA导入浏览器以删除警告。

注意，这里的CA证书位于harbor节点/root/harbor/ssl/ca.crt。

以chrome浏览器导入证书为例，搜索栏输入以下内容，下拉选择管理证书，选择受信任的证书颁发机构，然后导入ca.crt重启浏览器使用域名访问即可。

chrome://settings/security

银河麒麟 ARM架构 Qemu虚拟机

1. Qemu安装

Qemu的安装请参考： https://www.qemu.org/download/#source

下载源码，编译安装即可，注意银河麒麟上的gcc版本较低，请升级gcc，升级方式也为下载源码编译安装。

qemu-system-aarch64 --version

2. 虚拟机管理工具安装

安装虚拟机相关依赖：

yum -y install virt-install libvirt virt-manager 

安装完成后可以在启动菜单看到如下程序：

安装完成后启动管理工具。

3. 创建虚机

提示确认合适qemu/kvm软件包已经安装，这个可以忽略，点击文件，选择添加链接(A)

由于我们本机已经安装了QEMU，因此保持默认，点击连接。

连接成功可以在界面中看到QEMU相关信息。

点击新建虚拟机图标，我这里准备启动一个ARM64 UOS系统，所以处理器架构选择了aarch64。

点击加号创建虚拟磁盘，填写磁盘名称、格式保持qcow2、填写容量，然后完成。

请找到你的操作系统镜像文件，并确定，取消自动从安装媒介/安装源检查的选框，输入 Generic default，表示默认操作系统。

调整CPU内存等参数

配置虚拟机磁盘容量，下一步。

填写虚拟机的名称，我这里选择了我的物理网卡并且设置模式为桥接，这是为了方便远程桌面使用。

点击完成后，稍等片刻就可以启动虚拟机窗口。