基于数据分析的评分系统改进

Posted 2020-07-03

现代互联网组织愈发依赖数据，收集反馈，以正确有效的决策。

本文以软件工程师的绩效考核为例，展现了如何通过数据分析，调整和改进量化的评分系统。

业务问题：

基于360度绩效考核方法，现代组织会设计问卷调查表，请被考核员工的同事客户针对多个问题进行打分，以得到该员工量化的绩效结果。

在实践中，这套方法遇到两个问题：

1. 问卷调查问题的设计是否合理： 理想中，每个问题都应该相互独立，也就是问题1的结果不会对问题2造成影响。问卷表很难在第一个版本中就设计完备，设计问题本身也是一个基于反馈分析的迭代过程。

2. 有时候，调查结果与经理的主观判断有差异。有经验的经理作为专家，其主观判断应该作为评价结果的重要输入。 那如何调整才能考虑经理判断的同时，又不失评分系统的公允呢？

工具选择：

我们有了某组织某年度所有员工的绩效评分数据，那选择什么数据分析工具呢？

1. 这类业务问题的数据量通常不大，而且对分析结果的实时性要求也不强，所以没有必要使用Hadoop，Spark等平台；

2. 中小量的非实时数据分析，工具有很多选择： Excel用的最多，初步的数据清理和呈现，Excel是很方便的。复杂些的分析，可以选择Python或R，Python作为通用语言，各平台对它的支持很好，像新浪的PaaS SAE可以直接支持Python；而R的库很全，基本可以覆盖所有的统计需求。

这个例子中，我们使用R。

分析过程和结论：

经过数据清洗，我们有了某组织某年度所有员工的绩效评分数据如下：

第一列是工程师名字，Average of Q1 到 Q5是该工程师在5个问题上得分的平均值，最后一列是该工程师最后的总分。

针对两个业务问题：

1. 问卷调查问题的设计是否合理：

使用R中的cor()函数直接对由“Average of Q1 到 Q5”的5列构成的dataframe进行运算，可以得到这5列（5个问题）分数的相关性系数矩阵：

Average.of.Q1 Average.of.Q2 Average.of.Q3 Average.of.Q4 Average.of.Q5

Average.of.Q1     1.0000000      0.8800744        0.7240493        0.6420953          0.7840079

Average.of.Q2     0.8800744      1.0000000        0.7142950        0.7632830          0.8766518

Average.of.Q3     0.7240493      0.7142950        1.0000000        0.7035622          0.6683055

Average.of.Q4     0.6420953      0.7632830        0.7035622        1.0000000          0.8190740

Average.of.Q5     0.7840079      0.8766518        0.6683055        0.8190740          1.0000000

相关性系数越接近1，相关性越强。

由矩阵可以看出，Q1和Q2，Q2和Q5 相关性较强，由此，我们需要考虑更换Q2。

2. 不失公允的专家调整

经理，作为专家应该发现系统潜在的不足，并进行调整。

以本绩效评分系统为例，每个组织都有绩效优良的考评，对总分在“重点线”之上的员工给与优良绩效。此例中“重点线”为60分，覆盖前30%的员工。

但每个组织都存在“老黄牛”型员工，他们任劳任怨，做了很多不出彩的脏活累活。他们很难得到同事客户在评分上的认可。然而，他们是组织中不可或缺的一份子，在绩效考核中需要考虑这个因素。

根据经理的日常观察，Anna，Jone，Barry，Neo是几位典型的“老黄牛”型员工。他们的总分分别为：Jone 58，Anna 55，Barry 54， Neo 53，平均为55分。

为了弥补评分系统本身的不足，也就是说要弥补“老黄牛”在“重点线”的竞争力，我们可以把“调剂线”设置到55分。对处于调剂线上的“老黄牛”可以酌情考虑其优良绩效。

通过R的density()函数，可以表达该组织中，每位员工绩效得分的分布和“调剂线”、“重点线”的关系。

如下图，通过分布曲线，“调剂线”和“重点线”刚好在分布上有“区分度”的两个区段。从另一个方面也说明了其合理性。

注意：“调剂线”的设置一定要不失公允。从统计上说，参与“调剂”的样本一定要少，本例中 <10%。 如果过多样本参与“调剂”，会对总体分布造成影响，使得系统的一些基本情况发生变化。

总结：

现代组织越发依赖数据进行决策，而数据决策系统本身也存在不断校准的过程。

本文就数据分析系统中的两个重要问题：问卷评分中问题的选择，和系统的专家调整，进行了分析和阐述，并结合R语言给出了分析的例子。

本文的思路和方法，适用于所有的数据分析系统改进，比如客户反馈评分系统 ，而不仅局限于员工绩效评分系统。

本文出自 “11186558” 博客，请务必保留此出处http://11196558.blog.51cto.com/11186558/1760168