Jenkins-配置K8S负载

Posted 2023-04-27

参考技术A

随着Jenkins被大量使用，单台打包机完全无法应对打包慢，线程不够等一系列问题
这时候可以添加固定Node的方式去解决问题，但是慢慢你会发现固定Node也无法解决问题，如果并不是超级多的打包任务，或者根本没得使用K8S的这个条件请移步 Jenkins配置从节点 来解决单台打包机性能不够的问题
其中最主要的矛盾如下
1.不同的打包环境指定不同的打包机
2.集中在一个时间段打包，特别是在发版本的前夕，所有项目组都在打包，显得特别无力
3.大部分时间闲置的打包负载显得有点浪费
这时候就急需一个可以动态缩放的Node来解决这个问题。
将K8S作为Jenkins负载就是为了解决动态缩放，不同环境需要指定不同打包机的问题(Windows和Mac还是需要单独处理)。

官网文档 在 Kubernetes 上扩展 Jenkins

首先在Jenkins中搜索 Kubernetes 这个插件，安装上

配置K8S荷载

其中这个Kubernetes地址就是K8S-Api-Server的地址，可以在kube.config中找到

然后点击连接测试，出现如下就对了，但是讲道理会出现一个
找不到 /var/lib/jenkins/.kube/config.json 的错误，出现这个错误就要将kubeConfig放到这个位置

(Tips:如果你是Rancher搭建的K8S集群就在这个位置找API-Server的地址和kubeConfig)

这里是比较重要的，Pod模板是为了方便打包的， jnlp 这个镜像是必须要的，没有这个镜像就无法连接上Jenkins，这个镜像是可以拓展的。
不建议再这个镜像中安装Docker，安装Dotnet，安装Java，安装NodeJs，因为这些都可以用多容器和Jenkins插件来解决
可以在这个镜像中安装例如解压缩这样的小工具。

重写的配置如下

这种K8S中的Node有一个很大的缺陷就是缓存的问题，如Nuget缓存，这时候就需要挂载一个盘去进行缓存了，有条件的建议挂载一个PVC，但是像我这样没条件的HostPath也香。

PS:这里用Dotnet打包为例子

Dotnet打包需要用到的镜像是dotnetsdk，所以需要在jnlp的基础上再加上一个其他镜像，使用的时候就
利用 container 这个指令去指定容器。后面的名称就是容器模板中定义的名称，需要唯一指定。

Dotnet打包要想快就要将Nuget的包全部缓存下来，所以需要将~/.nuget 这个文件夹里面的东西用PV缓存起来(鄙人没这个条件，用的HostPath)

使用 node 这个命令去指定节点

然后再NodeManager中查看就会看到出现了一个新的节点了，这个节点就是K8S中调度的，在打包完成后就会回收掉这个Pod。

到这里为Jenkins配置K8S的负载就全部完毕了。

评分模型的检验方法和标准通常有：K-S指标交换曲线AR值Gini数等。例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成

评分模型的检验方法和标准通常有：K-S指标、交换曲线、AR值、Gini数等。例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成功的应用价值。K-S值越大，表示评分模型能够将“好客户”、“坏客户”区分开来的程度越大。

 

 

例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成功的应用价值。K-S值越大，表示评分模型能够将“好客户”、“坏客户”区分开来的程度越大。

 

信用评分模型介绍（一）

2016-08-28 蒋靓 Larry Jiang Larry的风险模型分享与探讨

引言：对于信用评分模型，很多朋友或多或少有所了解，这里做一般性的介绍，并分享自己的多年从业经验。这边短文主要包括：信用评分模型，自变量的生成、筛选、分档和转换，及常用有监督学习模型。

 

信用评分模型

信用评分模型是一种有监督的学习模型（Supervised Learning），数据由一群自变量X和对应的因变量y构成。传统零售信用模型中，X大致分为客户的基本信息（年龄、性别、职业、学位等），财务信息（收入，每月生活消费，每月信贷还款额等），产品信息（LTV，信用卡类别，个人贷款用途等），征信信息（前6个月被查询次数，前6个信用卡最大利用率，未结清贷款数等）；而一般取值0-1因变量y可以定义为在未来12个月是否出现欠款90天等.

经验备注：在大数据下，很多互联网公司对个人的评估不再局限于以上几种信息，而是根据更为广泛的数据源对个人进行更全面的刻画，故有称之为客户画像。数据维度会考虑个人在社会上留下的任何数据，如手机使用行为，理财行为，社交圈，网购行为，旅游行为等等等等。大家的各方面数据其实都在被不同的公司和不同的APP收集。。。

 

自变量的生成

自变量是信用风险的来源，除了考虑直接收集的变量，信用评分建模过程中往往需要建模人员产生更多的衍生变量。这部分工作要分析人员的直觉、长期经验的积累和数据挖掘技术的应用。大家可以通过京东和支付宝的评分一窥其自变量的维度：芝麻信用分为5个维度：身份特质，履约能力，信用历史，人脉关系，行为偏好；小白信用分也分为5个维度：身份，资产，关系，履约，偏好。

经验备注：现在越来越多的模型技术被应用于信用模型，但是个人觉得无论高级模型还是初级模型，最为重要的是更广泛的数据和产生更多更具有预测能力的自变量。

 

自变量的筛选

自变量一旦丰富了起来，就涉及到有效变量的筛选，大致可根据一下几个原则或方法：变量的直观意义（是否跟y有关），变量的单调性或合理性，未来是否可以获取以便模型可实施，变量的区分能力（IV），变量间相关性（变量聚类），变量缺失率，分档之后的稳定性等等。

经验备注：对于区分能力太强的变量，或缺失率很大的变量，不建议直接放入模型，可以考虑做成规则或者做成最后模型的调整。在大数据下，人们经常强调自变量与因变量的相关关系，应用于精准性要求不高的营销模型问题不大。而对于精准度要求极高的信用评分模型，相关关系的应用值得推敲。

 

自变量分档和转换

为了保持模型的稳定性，信用模型一般对自变量进行分档，比如根据风险不同把年龄分成几档。这样每档需要一个值来代表这段的自变量输入，这就是变量的转换，常见的有WOE和Logit转换。通过转换后不仅实现了稳定性要求，也克服不同变量间刻度不统一的问题，还克服回归中缺失值的填充问题。

经验备注：如果分档过粗糙，不但会降低单个变量的预测能力，也会造成最终评分集中度过高的问题。解决方法：可以考虑每档用线性插值来代替常数，也可以寻找更多能区分分数集中样本的自变量放入模型。

 

有监督学习模型介绍

目前比较流行的模型主要有以下几种（以后分享会逐一介绍）：

1. Logistic 回归（Logistic Regression）

2. 决策树（Decision Tree）

3. 支持向量机（Support Vector Machine）

4. 人工神经网络（Artificial Neural Network） 

5. 生存分析模型（Survival Analysis Model）

经验备注：除此上述之外，还有些高级方法或算法：集成方法（Ensemble Method）（例如随机森林（Random Forrest），Boosting，AdaBoost），深度学习方法（Deep Learning），随机梯度下降算法（Stochastic Gradient Descent）等。