数据分析与挖掘

Posted 2020-06-08

百度MTC是业界领先的移动应用测试服务平台，为广大开发者在移动应用测试中面临的成本、技术和效率问题提供解决方案。同时分享行业领先的百度技术，作者来自百度员工和业界领袖等。

>>如有问题，欢迎与我沟通

1、 概述

1.1  用户研究纵览

移动app成功的关键在于市场营销和产品设计，数据分析与挖掘解决的核心就是市场营销过程中的客户定位和产品设计过程中的用户体验改善。向目标用户提供所需的产品和服务，是任何一款移动APP应用成功的秘诀。而如何找到目标客户，如何了解用户的产品需求，则需要依靠数据分析和挖掘的力量。无论是客户定位，还是用户体验，归根揭底还是用户研究，在这一点上，移动APP产品的成功和其他任何类型的产品没有任何区别。

 

用户研究可以从定性分析和定量分析两个不同的维度展开：定性分析是从小规模的数据样本中发现新事物的方法，主要应用于用户体验调查；定量分析是用大数据量的样本来测试和证明某些事情的方法，主要应用于用户行为数据分析。

1.2  数据分析与挖掘流程规范

数据分析与挖掘型系统建设与传统的业务操作型系统建设不同，有其自身的特点和规则。数据分析和挖掘是数据库知识发现（KDD：Knowledge-Discovery in Databases）中一个重要的环节，KDD是通过从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。

跨行业数据挖掘标准流程（CRISP-DM：cross-industry standard process for data mining）是KDD过程模型中占据领先位置，采用量达到近60%，由欧盟机构联合起草的数据分析和挖掘过程模型。CRISP-DM包括6个不同的环节，如下图所示：

 

 

1. 业务理解（Business Understanding）：最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将这个知识转化为数据挖掘问题的定义和完成目标的初步计划。
2. 数据理解（Data Understanding）：数据理解阶段从初始的数据收集开始，通过一些活动的处理，目的是熟悉数据，识别数据的质量问题，首次发现数据的内部属性，或是探测引起兴趣的子集去形成隐含信息的假设。
3. 数据准备（Data Preparation）：数据准备阶段包括从未处理的数据中构造最终数据集的所有活动。这些数据将是模型工具的输入值。这个阶段的任务能执行多次，没有任何规定的顺序。任务包括表、记录和属性的选择，以及为模型工具转换和清洗数据。
4. 数据建模（Modeling）：在这个阶段，可以选择和应用不同的模型技术，模型参数被调整到最佳的数值。一般，有些技术可以解决一类相同的数据挖掘问题。有些技术在数据形成上有特殊要求，因此需要经常跳回到数据准备阶段。
5. 模型评估（Evaluation）：到这个阶段，你已经从数据分析的角度建立了一个高质量显示的模型。在开始最后部署模型之前，重要的事情是彻底地评估模型，检查构造模型的步骤，确保 模型可以完成业务目标。这个阶段的关键目的是确定是否有重要业务问题没有被充分的考虑。在这个阶段结束后，一个数据挖掘结果使用的决定必须达成。
6. 模型发布（Deployment）：通常，模型的创建不是项目的结束。模型的作用是从数据中找到知识，获得的知识需要便于用户使用的方式重新组织和展现。根据需求，这个阶段可以产生简 单的报告，或是实现一个比较复杂的、可重复的数据挖掘过程。在很多案例中，这个阶段是由客户而不是数据分析人员承担部署的工作。

2、 用户行为数据分析

2.1 目标

用户行为数据是指用户与移动APP应用之间的交互行为信息，是用户研究维度中定量分析部分，通过分析用户的登录、操作日志，获取用户对于移动APP产品的使用信息和用户设备、网络环境等信息。

2.2 方法

用户行为数据获取通常采用数据埋点的方式进行，通过在记录用户详细操作日志，了解用户与产品的详细交互行为，以及用户访问移动APP时的设备、网络环境等信息。传统的数据埋点方式，需要企业开发自己的信息采集程序和日志处理程序，实现成本和开发工作量具体，如果同时兼容平台差异，成本会更大，因此并不适合新兴移动APP。用户行为数据的分析，可以借用成熟的数据统计分析平台进行。

2.3 工具

百度移动统计平台是百度公司推出的一款专业的移动APP统计分析工具，支持ios和android平台。开发者可以方便地通过嵌入统计SDK，实现对移动应用的全面监测，实时掌握产品表现，准确洞察用户行为。

百度移动统计平台针对移动APP提供强大的应用统计分析功能，包括：

1. 流量来源：渠道流量对比、细分渠道分析，准确监控不同推广位数据，实时获知渠道贡献；

2. 受众洞察：基于百度的海量数据积累，多维度分析并呈现用户画像信息；

3. 终端分析：设备分布一目了然（设备型号、品牌、操作系统、分辨率、联网方式、运营商等）；

百度移动统计功能界面如下图所示：

 

2.4 输出

用户行为数据分析的结果是用户角色画像，构建用户的标签模型，用户标签数据的获取则主要是依赖数据挖掘算法，标签体系的构成针对不同的行业、不同业务、不同用户，各有不同，需要更专业的行业用户画像模型，在此不做过多的讨论。用户画像输出结果示例如下图所示：

 

3、 用户体验数据分析

3.1 目标

一款移动APP要想取得成功，除了满足用户功能性的需求之外，还必须提供良好的用户体验。用户体验是指产品如何与外界发生联系并发挥作用，亦即人们如何“接触”和“使用”产品。用户体验形成了用户对企业或产品的整体印象，界定了企业或产品与竞争对手的差异，并且决定了用户是否还会再次光顾。优质的用户体验是企业或产品重要的资产，能够给企业带来投资回报率（ROI）的提升和用户转化率（conversion rate）的提升。

3.2 方法

改善用户体验的前提是获取用户体验数据，用户体验数据的可以采用传统的直接接触用户来了解用户，也可以通过互联网模式远程异地在线调研来了解用户，两者互为补充，相辅相成。直接接触用户模式通过用户访谈和现场调查进行，沟通充分，效果显著，但是目标调研对象选择、沟通成本和样本规模受到时间、资金投入的限制。互联网远程异地在线调研模式实现了线下问题线上化，通过线上问答，可以节约成本，扩大样本规模，是直接接触用户模式的一种有益补充。二者主要特点对比如下图所示：

 

3.3 工具

百度众测平台是百度公司开发的众包模式在软件和产品测试上的延伸和典型应用，它将企业产品的相关测试工作交由网络社区大众来完成，是一个任务众包平台，即服务于百度自身产品，也面相公众提供服务。百度众测平台的目的是利用大众的测试能力和测试资源，在短时间内完成大工作量的产品体验，并能够保证质量，第一时间将体验结果反馈至平台，再由平台管理人员将信息搜集，交给开发人员，这样就能从用户角度出发，改善产品质量、提升用户体验。

百度众测平台主要提供以下几种测试任务类型：

1)     快速判断任务：一般是简单的单选题，用户可以快速完成判断。

2)     问卷调查任务：用户只需要完成在线问卷调查就可以得到相应的礼券奖励；

3)     产品找茬任务：体验一款新产品，提交该产品的BUG或提出该产品的改进建议。

4)     特殊任务：企业可以基于特定目的，设定特殊任务，如当前正在进行的尚德教育机构创意征集任务。

5)     实地调研任务：调研对象招募类项目，通过发起实地调研任务，招募符合条件的调研对象，参与用户现场沟通。

百度众测平台首页操作界面如下图所示：

 

 

百度MTC是业界领先的移动应用测试服务平台，为广大开发者在移动应用测试中面临的成本、技术和效率问题提供解决方案。同时分享行业领先的百度技术，作者来自百度员工和业界领袖等。

>>更多精彩文章点击这里