Spark on K8S

Posted 2023-05-10

参考技术A Spark Standalone on Kubernetes (via k8s community)
SPIP: SPARK-18278
https://github.com/apache-spark-on-k8s/spark (fork)

Officially native Kubernetes support (first release)
Experimental
Kubernetes 1.7+

Latest release version
PySpark/SparkR applications support
Client mode support (for interactive applications and notebooks)
Support for mounting certain types of Kubernetes volumes

SPARK-25826 Kerberos HDFS support
Dynamic allocation support

Spark on K8S 的Executors页面无logs

SPARK-27927 driver pod hangs with pyspark 2.4.3 and master on kubernetes
SPARK-27812 kubernetes client import non-daemon thread which block jvm exit.

Spark on k8s默认 mount emptyDir 这类 Volume ，实际对应物理机的单盘下的临时路径.

hostPath支持
SPARK-27499 Support mapping spark.local.dir to hostPath volume

External shuffle service
SPARK-25299 Use remote storage for persisting shuffle data

Dynamic resource allocation
SPARK-24432 Add support for dynamic resource allocation
SPARK-27963 Allow dynamic allocation without an external shuffle service

访问安全HDFS集群
SPARK-25826 Kerberos HDFS support

SPARK-28949 Kubernetes CGroup leaking leads to Spark Pods hang in Pending status
SPARK-28992 Support update dependencies from hdfs when task run on executor pods
SPARK-28947 Status logging occurs on every state change but not at an interval for liveness.
SPARK-28896 Spark client process is unable to upload jars to hdfs while using ConfigMap not HADOOP_CONF_DIR

评分模型的检验方法和标准通常有：K-S指标交换曲线AR值Gini数等。例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成

评分模型的检验方法和标准通常有：K-S指标、交换曲线、AR值、Gini数等。例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成功的应用价值。K-S值越大，表示评分模型能够将“好客户”、“坏客户”区分开来的程度越大。

 

 

例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成功的应用价值。K-S值越大，表示评分模型能够将“好客户”、“坏客户”区分开来的程度越大。

 

信用评分模型介绍（一）

2016-08-28 蒋靓 Larry Jiang Larry的风险模型分享与探讨

引言：对于信用评分模型，很多朋友或多或少有所了解，这里做一般性的介绍，并分享自己的多年从业经验。这边短文主要包括：信用评分模型，自变量的生成、筛选、分档和转换，及常用有监督学习模型。

 

信用评分模型

信用评分模型是一种有监督的学习模型（Supervised Learning），数据由一群自变量X和对应的因变量y构成。传统零售信用模型中，X大致分为客户的基本信息（年龄、性别、职业、学位等），财务信息（收入，每月生活消费，每月信贷还款额等），产品信息（LTV，信用卡类别，个人贷款用途等），征信信息（前6个月被查询次数，前6个信用卡最大利用率，未结清贷款数等）；而一般取值0-1因变量y可以定义为在未来12个月是否出现欠款90天等.

经验备注：在大数据下，很多互联网公司对个人的评估不再局限于以上几种信息，而是根据更为广泛的数据源对个人进行更全面的刻画，故有称之为客户画像。数据维度会考虑个人在社会上留下的任何数据，如手机使用行为，理财行为，社交圈，网购行为，旅游行为等等等等。大家的各方面数据其实都在被不同的公司和不同的APP收集。。。

 

自变量的生成

自变量是信用风险的来源，除了考虑直接收集的变量，信用评分建模过程中往往需要建模人员产生更多的衍生变量。这部分工作要分析人员的直觉、长期经验的积累和数据挖掘技术的应用。大家可以通过京东和支付宝的评分一窥其自变量的维度：芝麻信用分为5个维度：身份特质，履约能力，信用历史，人脉关系，行为偏好；小白信用分也分为5个维度：身份，资产，关系，履约，偏好。

经验备注：现在越来越多的模型技术被应用于信用模型，但是个人觉得无论高级模型还是初级模型，最为重要的是更广泛的数据和产生更多更具有预测能力的自变量。

 

自变量的筛选

自变量一旦丰富了起来，就涉及到有效变量的筛选，大致可根据一下几个原则或方法：变量的直观意义（是否跟y有关），变量的单调性或合理性，未来是否可以获取以便模型可实施，变量的区分能力（IV），变量间相关性（变量聚类），变量缺失率，分档之后的稳定性等等。

经验备注：对于区分能力太强的变量，或缺失率很大的变量，不建议直接放入模型，可以考虑做成规则或者做成最后模型的调整。在大数据下，人们经常强调自变量与因变量的相关关系，应用于精准性要求不高的营销模型问题不大。而对于精准度要求极高的信用评分模型，相关关系的应用值得推敲。

 

自变量分档和转换

为了保持模型的稳定性，信用模型一般对自变量进行分档，比如根据风险不同把年龄分成几档。这样每档需要一个值来代表这段的自变量输入，这就是变量的转换，常见的有WOE和Logit转换。通过转换后不仅实现了稳定性要求，也克服不同变量间刻度不统一的问题，还克服回归中缺失值的填充问题。

经验备注：如果分档过粗糙，不但会降低单个变量的预测能力，也会造成最终评分集中度过高的问题。解决方法：可以考虑每档用线性插值来代替常数，也可以寻找更多能区分分数集中样本的自变量放入模型。

 

有监督学习模型介绍

目前比较流行的模型主要有以下几种（以后分享会逐一介绍）：

1. Logistic 回归（Logistic Regression）

2. 决策树（Decision Tree）

3. 支持向量机（Support Vector Machine）

4. 人工神经网络（Artificial Neural Network） 

5. 生存分析模型（Survival Analysis Model）

经验备注：除此上述之外，还有些高级方法或算法：集成方法（Ensemble Method）（例如随机森林（Random Forrest），Boosting，AdaBoost），深度学习方法（Deep Learning），随机梯度下降算法（Stochastic Gradient Descent）等。