标签数据开发
Posted 果汁华
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了标签数据开发相关的知识,希望对你有一定的参考价值。
一、统计类标签开发
1、近30日购买行为标签案例
2、最新来访标签案例
二、规则类标签
1、用户价值类案例
重要价值、重要保持、一般价值、一般发展
2、用户活跃度标签案例
高活跃、中活跃、低活跃、流失等标签。
三、挖掘类标签
1、案例背景
文章类别划分
2、特征选取及开发
标注:人工对一批文档进行精准分类,作为训练集样本;
训练:计算机从标注好的文档集中挖掘出能够有效分类的规则,生成分类器;
分类:将生成的分类器应用在待分类的文档集中,从而获得文档的分类结果
3、文本分词处理
4、数据结构处理
5、文本TF-IDF权重
6、朴素贝叶斯分类
四、流式计算标签开发
在做实时订单分析,或者给首次登录App的新人用户弹窗推送、发放红包,实时分析用户所处场景并进行推送有广泛的应用。
1、流式标签建模框架
Spark Streaming 是Spark Core API的扩展,支持实时数据流的处理,并且有可扩展性、高吞吐量、容错的特点。数据可以从Kafka、Flume等多个来源获取,可以使用map、reduce、window等多个高级函数对业务逻辑进行处理。
2、kafka简介
kafka的核心功能是作为分布式消息中间件。Kafka集群由多个Broker server组成,其中,消息发送者称为Producer;消息消费者称为Cousumer; broker 是消息处理的节点,多个broker组成Kafka集群;Topic是数据主题,用来区分不同的业务系统,消费者通过订阅不同的Topic来消费不同主题数据,每个topic又分为多个Partition,Partition是Topic的分组,每个Partition都是一个有序队列;offset用于定位消费者在每个Partition中消费的位置。
3、Spark Streaming集成kafka
Spark Streaming可以通过Receiver和Direct两种模式来集成Kafka。
在Receiver模式下,Spark Streaming作为Consumer拉取Kafka中的数据,将获取的数据存储在Executeor内存中。可能因为数据量过大而造成内存溢出,所以启用预写日志机制(Write Ahead Log)将溢出部分写入到HDFS中。
在Direct模式下,Spark Streaming 直接读取Kafka的topic中的所有Partition,获取offset。Spark Streaming中有一个InputStream,这个Dsteam的每一个分区对应着Kafka中需要消费的Topic的每一个分区,并且从Kafka中读取数据。在Direct模式下,是Spark Steaming自己追踪消费的Offset, 消除了与ZooKeeper不一致情况,处理和输出过程符合Exactly-once模式。
4、标签开发及工程化
- 读取数据源,这里讲解消费Kafka中的数据
- 解析数据,
- 将解析的数据存储到指定位置
- 存储消费的Offset,Direct模式下需要保存消费到的位置
五、用户特征库开发
六、标签权重计算
七、标签相似度计算
八、组合标签计算
九、数据服务层开发
十、Graphx图计算用户
以上是关于标签数据开发的主要内容,如果未能解决你的问题,请参考以下文章