喜大普奔JFrog支持 P2P下载功能

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了喜大普奔JFrog支持 P2P下载功能相关的知识,希望对你有一定的参考价值。

  1. 需求背景
    在大规模Docker 容器运行时环境中,如果镜像实例数 较多,需要同时大规模,多地更新镜像,比如大型电商平台需要更新所有容器的镜像时,Docker镜像中心往往成为性能瓶颈,这个瓶颈往往来自于镜像中心的网络出口,比如镜像中心所在主机有万兆网卡,则网络流量会被限制在 1000MB(注意是大 Byte),通常这个网卡会被多个应用共享使用,所以流量有很多损耗,导致无法满足 Docker 镜像实时分发的需求。即使将 Docker 镜像中心进行异地分布式部署,也存在瞬时的并发拉取流量难以满足,从而导致 Docker 拉取镜像失败,Pod 无法启动。
    2.功能介绍
    为了解决这个问题,JFrog Artifactory E+ 7.9 版本支持了 P2P 功能。之前的镜像拉取方式如下:
    技术图片
    支持 P2P 之后,镜像的分发方式如下:
    技术图片
    JFrog P2P 功能能够让用户从 Peer 网络中直接获取制品,Peer 节点存储了种子制品和缓存过的制品,从而大大的减少 Artifactory 的下载压力。
    JFrog P2P 模块的架构:
    • Tracker: 是一个Artifactory 的服务,用来广播和追踪可用的种子制品在哪个 peers 和服务器。
    • Peer:?是一个独有的JFrog应用程序,部署在 peers 节点的主机上,和其他 peers 节点通信。Peer 节点连接 Tracker 去下载制品,并且声明种子的可用性给Tracker.
    • P2P Swarm:?是一个peers 节点的逻辑集合,它形成了分布式的网络,用于给集群内的 Docker 客户端共享制品。
    • Client:?客户端软件用户和 peer 交互,通常是 Docker 或者 HTTP client.

JFrog P2P 下载的工作流:

  • Peer 安装在连接到 Artifactory 的主机上,例如 Kubernetes work node。
  • Peer 节点连接到 Artifactory Edge ,然后注册在 Trakcer 上,作为种子服务器提供服务。所有的下载都通过SSL加密,使用Artifactory的链式认证进行统一鉴权.Peer 节点监听客户端或者其他 Peer 节点的下载请求。
  • 当 Peer 节点下载好种子文件后,会自动广播给各个 Tracker自己的内容,Tracker 会存储这些种子文件的信息。?
  • 当 Peer 节点监听到客户端请求时,会去 Tracker 查询哪些 Peer 节点已经缓存了该文件,Tracker 会回复 Peer 节点的请求,然后 Peer 节点开始从Peer swarm 里的这些节点去进行下载。
  • 当文件被缓存在 Peer 节点上,这个信息会被 Tracker 发现并广播,能够别并发的被其他 peer 节点拉取。下载的过程是多线程并发的执行,因此能够打满 Peer 集群内部的网络带宽,使得下载速度比从 Artifactory 服务器下载更加快。

3.收益
通过 P2P 功能,用户能够极快的拉取镜像,实现业务的连续性,目前 JFrog E+版本中支持了这个功能。欢迎大家免费下载试用。

以上是关于喜大普奔JFrog支持 P2P下载功能的主要内容,如果未能解决你的问题,请参考以下文章

喜大普奔 | 微信小程序支持PC端打开了

喜大普奔!Chrome 75 将原生支持图片懒加载

喜大普奔,angular终于有移动版UI库啦

200+语言任意互译,新开源的大模型让粤语靓仔直接喜大普奔

喜大普奔!70k Star 《Java面试突击手册》PDF版本开放下载啦!

这可能是Java10新特性中,最流行和最有用的了!!!喜大普奔