用户画像介绍

Posted 2023-05-13

参考技术A

用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。
通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、容易理解的特征来描述用户，可以让人更容易理解用户，并且可以方便计算机处理。

标签的分类方法比较多样，可以按标签的产出方式分，也可以按实际业务分，也可以组合起来分类。
按产出方式来分的话：
1）事实统计类标签 例如近7日活跃时长、近7日活跃次数等等
2）事实规则类标签 例如消费活跃：近30天交易次数>=2
3）模型类标签 例如RFM模型，AARRR模型
4）算法类标签 例如根据用户购买的商品判断其购物性别、对某商品的偏好程度
按实际业务来分的话：
1）用户属性标签
2）用户消费标签
3）用户行为标签
4）风险控制标签
。。。

在互联网、电商领域用户画像常用来作为精准营销、推荐系统的基础性工作，其作用总体包括：
1）精准营销：根据历史用户特征，分析产品的潜在用户和用户的潜在需求，针对特定群体，利用短信、邮件等方式进行营销，提升营销效率和营销效果。
2）用户统计：根据用户的属性、行为特征对用户进行分类后，统计不同特征下的用户数量、分布；分析不同用户画像群体的分布特征。
3）数据挖掘：以用户画像为基础构建推荐系统、搜索引擎、广告投放系统，提升服务精准度。
4）服务产品：对产品进行用户画像，对产品进行受众分析，更透彻地理解用户使用产品的心理动机和行为习惯，完善产品运营，提升服务质量。
5）行业报告&用户研究：通过用户画像分析可以了解行业动态，比如人群消费习惯、消费偏好分析、不同地域品类消费差异分析
6）ABtest：用于创建ABtest实验，和实验效果分析

用户画像必须从实际业务场景出发，解决实际的业务问题，之所以进行用户画像，要么是获取新用户，要么是提升用户体验、或者挽回流失用户等具有明确的业务目标。

数据源的数据是标签构建的最底层，来源于各个业务端的数据，主要有离线和实时两大数据来源，一般的大数据架构会有流批处理的链路分别处理，也有流批一体的架构，数据产品可不重点关注。

数据层开始数据产品会比较关注，数据产品在设计标签时需要关注标签的生产在数据仓库的流转口径，特别是在定义原子标签的时候，需要深入理解业务，了解用户的来源，状态，订单的渠道，线上线下，订单状态等等。

标签层一般的，会按照上面说的实际业务分类进行标签的建设，一般构建原子标签就足够了，在服务层的标签工厂可以个性化的创建新的派生标签。

服务层主要包含两块，一个是画像平台的应用，一个是画像数据的统一API服务，给前台的营销系统、广告系统等提供标签分群数据支持。

以上是用户画像系统的基础概念，下一节我们了解下画像系统的难点之一：如何构建oneid？

大数据项目之dmp用户画像

大数据项目之dmp用户画像

一、互联网广告精准投放介绍
（1）dsp的展示原理：

①　用户浏览媒体网站，媒体网站通过添加的 SSP 代码向 AdExchange 发起广告请求。
②　AdExchange 将这次请求的关键信息（如域名 URL、IP、Cookie 等）同时发送给多家 DSP，我们把这个请求称为 Bid Request。
③　DSP 收到请求后通过 Cookie、IP、URL 等信息决策是否参与竞价，DSP 可以通过 Cookie 来查询此用户在自己系统中的历史行为来推算人口属性和兴趣爱好，如果DSP没有这个能力，则可以通过第三方DMP的协助来判断用户特征，以便更合理地出价，如若出价，则向 AdExchange 返回价格、要展示的广告、跳转链接等信息，我们把这次信息返回称为 Bid Response。
④　AdExchange 选出出价最高的 DSP，通知这个 DSP 赢得了竞价，并告诉它此次展示的费用（由于在RTB中是采用二阶定价，即第二高出价，所以DSP并不知道实际的费用，需要AdExchang 再通知一次），于此同时，AdExchange返回给媒体要展示广告的html内容。
⑤　广告的静态资源（图片、Flash 等文件）一般是存储在 DSP 的服务器，所以在加载广告代码的时候需要去 DSP 请求静态资源
⑥　DSP 返回静态资源，完成广告的渲染和展示。

（2）相关名词解释：
  DSP：DSP是一个系统，也是一种在线广告平台。它服务于广告主，帮助广告主在互联网或者移动互联网上进行广告投放，DSP可以使广告主更简单便捷地遵循统一的竞价和反馈方式，对位于多家广告交易平台的在线广告,以合理的价格实时购买高质量的广告库存。
  Ad Exchange：Ad Exchange即互联网广告交易平台，它联系着DSP（买方平台）和SSP（卖方平台），通过接入SSP汇集大量媒体流量，从而收集处理属于广告目标客户的数据，Ad Exchange是实现精准营销的交易场所。
  SSP：SSP（Suply Side Platform），供应方平台，即媒体方平台，也就是消费者看到广告的媒介。
  DMP：数据管理平台能够帮助所有涉及广告库存购买和出售的各方管理其数据、更方便地使用第三方数据、增强他们对所有这些数据的理解、传回数据或将定制数据传入某一平台，以进行更好地定位。

（3）DMP详细介绍：
 1）用户数据分类：

   - 第一方数据：需求方即广告主自有用户数据，包括网站/APP监测数据、 CRM(Custom Relation Management)数据、电商交易数据等。
   - 第二方数据：需求方服务提供者在广告投放过程中积累的业务数据，如DSP平台业务中积累的受众浏览广告、点击广告等相关数据。
   - 第三方数据：非直接合作方拥有的数据，如运营商数据等

 2）数据分析能力：

  其中用户画像是基础，即通过对用户信息的标签化，完美的抽象出一个用户的信息全貌，并为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息提供足够的数据基础。顾名思义，用户画像的焦点工作就是为用户打标签，而一个标签通常是认为规定的高度提炼的特征标识，例如年龄、性别、地域、用户偏好等，最后将用户的所有标签综合来看，就可以勾勒出该用户的立体画像了。

 3）DMP的作用：

  - 能快速查询、反馈和快速呈现结果
  - 能帮助客户更快进入到市场周期中
  - 能促成企业用户和合作伙伴之间的合作
  - 能深入的预测分析并作出反应
  - 能带来各方面的竞争优势
  - 能降低信息获取及人力成本

二、项目需求
(1)实现的需求：
  - 模拟从文件中读取数据，使用spark将数据清洗之后分装到dataframe，并且压缩之后，输出成parquet形式的文件。
  - 读取parquet文件，使用sparksql将其根据需求进行etl，并且输出到MySQL中（报表）
  - 读取parquet文件，通过userid，根据每一个用户，打相应的标签，最终放入hbase

(2)原始文件的字段介绍：
序号 属性名称 描述
1 Sessionid:String 会话标识
2 Advertisers:Int 广告主id
3 Adorderid:Int 广告id
4 Adcreativeid:Int 广告创意id（>=200000:dsp）
5 Adplatformproviderid:Int 广告平台商id（>=100000:rtb）
6 Sdkversion:String Sdk版本
7 Adplatformkey:String 平台商key
8 Putinmodeltype:Int 根据广告主的投放模式，1：显示量投放，2：点击量投放
9 Requesmode:Int 数据请求方式（1：请求，2：展示，3：点击）
10 Adprice:Double 广告价格
11 Adpprice:Double 平台商价格
12 Requestdate:String 请求时间格式为：yyyy-m-dd hh:mm:ss
13 Ip:String 设备用户的真实ip地址
14 Appid:String 应用IP
15 Appname:String 应用名称
16 Uuid:String 设备唯一标识
17 Device:String 设备型号，如：htc,iphone
18 Client:Int 设备类型（如：1：Android,2：IOS，3：wp）
19 Osversion:String 设备操作系统版本
20 Density:String 设备屏幕密度
21 Pw:Int 设备屏幕宽度
22 Ph:Int 设备屏幕高度
23 Long:string 设备所在经度
24 Lat:String 设备所在维度
25 Provincename:String 设备所在省份名称
26 Cityname:String 设备所在城市名称
27 Ispid:Int 运营商id
28 Ispname:String 运营商名称
29 Networkmannerid:Int 联网方式id
30 Networkmannername:String 联网方式名称
31 Iseffective:Int 有效标识（有效指可以正常计费的）（0：无效，1：有效）
32 Isbilling:Int 是否收费（0：未收费，1：收费）
33 Adspacestype:Int 广告位类型（1：banner2：插屏3：全屏）
34 Adspacetypename:String 广告位类型名称（banner横幅，插屏，全屏）
35 Devicetype:Int 设备类型（1：手机:2：平板）
36 Processnode:Int 流程节点（1：请求量ktp2:有效请求3：广告请求）
37 Apptype:Int 应用类型id
38 District:String 设备所在县的名称
39 Paymode:Int 针对平台商的支付模式1：展示量投放（CPM）2：点击(cpc)
40 Isbid:Int 是否rtp(1参与竞价 0不参与竞价)
41 Bidprice:Double Rtp竞价价格
42 Winprice:Double Rtp竞价成功价格
43 Iswin:Int 是否竞价成功
44 Cur:String Values:umd|rmb等
45 Rate:Double 汇率
46 Cnywinprice:Double Rtp竞价成功转换成人民币的价格
47 Imei:String Imei
48 Imac:string Mac
49 Idfa:String Idfa
50 Openudid:String Openudid
51 Androidid:String Androidid
52 Rtbprovice:String Rtb省
53 Rtbcity:String Rtb市
54 Rtbdistrict:String Rtb区
55 Rtbstreet:String Rtb街道
56 Storeurl:String App的市场下载地址
57 Realip:String 真实ip
58 Isqualityapp:Int 优选标识
59 Bidfloor:Double 低价
60 Aw:Int 广告位的宽
61 Ah:Int 广告位的高
62 Imeimd5:String Imei_md5
63 Macmd5:String Mac_md5
64 Idfamd5:String Idfa_md5
65 Openudidmd5:String Openudid_md5
66 Androididmd5:String Androidid_md5
67 Imeisha1:String Imei_sha1
68 Macsha1:String Mac_sha1
69 Idfasha1:String Idfa_sha1
70 Openudidsha1:String Openudid_sha1
71 Androididsha1:String Androidid_sha1
72 Uuidunknow:String Uuid_unknow tanx密文
73 Decuuidunknow:String 解密的tanx明文
74 Userid:String 平台用户id
75 Reqdate:String 日期
76 Reqhour:String 小时
77 Iptype:Int 表示ip类型
78 Initbidprice:Double 初始出价
79 Adpayment:Double 转换后的广告消费
80 Agentrate:Double 代理商利润率
81 Lomarkrate:Double 代理利润率
82 Adxrate:Double 媒介利润率
83 Title:String 标题
84 Keywords:String 关键字
85 Tagid:String 广告位标识（当视频流量时值为视频得ID号）
86 Callbackdate:String 回调时间，格式为YYYY/mm/dd hh:mm:ss
87 Channeid:String 频道ID
88 Megratype:Int 媒体类型1：长尾媒体2：视频媒体3：独立媒体，默认：1

(3)报表：
地域分布：

终端设备：

操作系统

媒体分析：

渠道报表：

(4)用户画像：
标签一：广告位类型（标签格式：LC03->1或者LC16->1）xx为数字，小于10 补0
标签二：APP名称（标签格式：APPxxxx->1）xxxx为APP的名称，使用缓存文件appname_dict进行名称转换
标签三：渠道（标签格式：CNxxxx->1）xxxx为渠道ID
标签四：设备：操作系统|联网方式|运营商
设备操作系统
1 Android D0001001
2 IOS D0001002
3 Winphone D0001003
4 其他 D0001004
设备联网方式
WIFI D0002001
4G D0002002
3G D0002003
2G D0002004
设备运营商方案
移动 D0003001
联通 D0003002
电信 D0003003
OPERATOROTHER D0003004

标签五：关键词（标签格式：Kxxx->1）xxx为关键字。关键词个数不能少于3个字符，且不能超过8个字符；关键字中如包含”|”,则分割成数组，转化成多个关键字标签
标签六：地域标签（省标签格式：ZPxxx->1，地市标签格式：ZCxxx->1）xxx为省或市名称
标签七：6）上下文标签：将数据打上上述6类标签，并根据【用户ID】进行当前文件的合并，数据保存格式为：userid K×××志:3 D00030002:1........