提取属性标签规则

Posted 2021-06-29 chbxw

文章目录

查看【业务标签说明】可以发现很多【属性标签规则】都是 值的范围 ，在计算标签时需要依据规则范围进行比较，获取对应标签名称（tagName），给每个用户打上标签，所以可以编写方法【提取属性标签中规则rule，转换类型，返回DataFrame数据集】，其中包含字段：tag，start，end

在标签工具类 TagTools 中添加方法 convertTuple ，实现属性标签规则的转换，具体代码如下：

/**
* 将标签数据中属性标签规则rule拆分为范围: start, end
*
* @param tagDF 标签数据
* @return 数据集DataFrame
*/
def convertTuple(tagDF: DataFrame): DataFrame = {
// 导入隐式转换和函数库
import tagDF.sparkSession.implicits._
import org.apache.spark.sql.functions._
// 1. 自定UDF函数，解析分解属性标签的规则rule： 19500101-19591231
val rule_to_tuple: UserDefinedFunction = udf(
(rule: String) => {
val Array(start, end) = rule.split("-").map(_.toInt)
// 返回二元组
(start, end)
}
)
// 2. 获取属性标签数据，解析规则rule
val ruleDF: DataFrame = tagDF
.filter($"level" === 5) // 5级标签
.select(
$"name", //
rule_to_tuple($"rule").as("rules") //
)
// 获取起始start和结束end
.select(
$"name", //
$"rules._1".as("start"), //
$"rules._2".as("end") //
)
//ruleDF.show(20, truncate = false)
// 3. 返回标签规则
ruleDF
}