Kubeflow安装及代码架构解读

Posted 2023-04-02 chenxy02

参考网址

Installing Kubeflow | Kubeflow

安装方式选用

官方讲述了两种Kubeflow的安装方式，一种是使用打包发行版本，谷歌云、AWS等厂商的客户可以考虑此方式进行安装使用，应该非常方便。

本文主要讲使用manifest（清单） 的方式进行Kubeflow的安装。

怎么使用manifest

从github上拉取仓库 GitHub - kubeflow/manifests: A repository for Kustomize manifests

然后照着这个仓库的 readme.md 一步步进行操作就可以了。

 建议使用"Install individual compontent"这种方式 ，因为我们在安装的时候大概率会出现镜像拉取不下来等问题。 一个个组件进行安装，方便我们排查解决问题。

怎么理解manifest 仓库

manifest仓库旨在帮助我们使用 Kustomize（kubectl的内置子命令）的方式，完成kubernetes的各种组件的快速安装。会定期同步各组件仓库的信息，在apps目录下保存着各种组件用于Kustomize安装所需的yaml文件包。

怎么修改Kubeflow组件

以 “Jupyter Web App”为例，我们可以在kustomization.yaml中看到完成该组件所需使用镜像。

明显，当我们想对某个组件进行自定义修改的时候。我们需要做的 就是找生成该镜像的代码仓库，根椐需要对代码进行修改，然后重新打包镜像，再重新进行组件安装。

 至于怎么找到相应的代码仓库，只能说在 Kubeflow · GitHub 下半猜半推的找吧。最后根据里面Makefile文件的内容就可以确定了。

------------------------------------------------------ 各功能模板解读 --------------------------------------------------

鉴权服务

 对应的Pod：属于“auth”命名空间下

 对应的代码：笔者暂时还没有找到

Centraldashboard（控制面板）

 对应的Pod： 属于“kubeflow”命名空间下

 对应的代码：kubeflow/components/centraldashboard at master · kubeflow/kubeflow · GitHub

如下图，Centraldashboard为一个node.js项目

Crud-web-apps(进行notebook、pvc等资源管理的web服务)

对应的Pod：

  对应的代码：kubeflow/components/crud-web-apps at master · kubeflow/kubeflow · GitHub

如下图，crud-web-apps为多个Python(flask)项目和Node.js项目

Crud-web-apps/ jupyter

功能：

可实现notebook的创建、删除等操作的web服务，提供可视化操作界面。

本质：

传递及组合参数，调用kubernetes-client（Python）操纵k8s资源，可参考：GitHub - kubernetes-client/python: Official Python client library for kubernetes

调用顺序

以浏览器请求获取Notebook列表为例，后端函数的调用顺序如下：

jupyter/backend/apps/common/routes/get.py/get_notebooks(namespace) --> common/backend/kubeflow/kubeflow/crud_backend/api/notebook.py/list_notebooks(namespace) --> common/backend/kubeflow/kubeflow/crud_backend/api/apis.py/custom_api

notebooks 资源定义

notebooks是由 kubeflow/components/notebook-controller项目，为K8S集群添加的自定义资源。

（未完待续）

RPC框架之Thrift架构及源码解读

RPC远程过程调用之Thrift架构

• 1. Thrift基本概念
• 2. Thrift 为什么可以跨语言？
• 3. Thrift架构
• 4. 参考文献（源码解读）

1. Thrift基本概念

Thrift就是通过接口文件，来生成各语言的代码，接口文件以”*.thrift”命名。代码生成完，被调用方要编写服务端代码

2. Thrift 为什么可以跨语言？

客户端与服务端一致遵循Thrift传输协议

3. Thrift架构

1. 最上层用户自行实现的业务逻辑代码

2. 第二层，thrift编译自动生成的代码，主要用于结构化数据的解析，发送和接收。
   TServer主要任务是高效的接收客户端的请求，并将请求转发给processor处理。processor负责对客户端的请求作出响应，包括RPC请求转发，调用参数解析和用户逻辑调用，返回值写回等处理。

3. TProtocol是用于数据类型的解析，将结构化数据转化为字节流给TTransport进行传输。

4. TTransport是与底层传输密切相关的传输层，负责以字节流的方式接收和发送消息体，不关注是什么数据类型。

5. 底层I/O负责实际的数据传输，包括socket，文件和压缩数据流等。

4. 参考文献（源码解读）

链接: Thrift-源码解读
链接: 理论参考