小数据为主，大数据为仆，这是数据管理的正道

Posted 2021-04-02 AI研究所

    大数据管理通过大量数据采矿，找出潜在的变量和它们之间的因果联系，这样企业可以有针对性地生产和营销。相比之下，小数据泛指零星的弱信号。它们往往被当作 没有规范、似乎随机的偏差或噪音。被过滤和忽视是小数据的命运，原因是人们没有现成的概念去定义和解释它们。可是，没有小数据，大数据管理会充满陷阱。

小数据为主，大数据为仆，这是数据管理的正道。

大数据的陷阱

    春节就要到了。假如你是一位出车千次无事故的好司机，恰好在朋友家喝了点酒，警察也过年下班了，于是你坚持自己开车回家，盘算着出问题的概率也不过千分之一 吧。如果这样算，你就犯了一个取样错误，因为那一千次出车，你没喝酒，它们不能和这次混在一起计算。这也是大数据“采矿”常犯的错。

    从1967年第一届美国超级碗杯橄榄球赛到1997年第三十一届，只要NFL联赛出线队赢，当年的股票就大涨14%以上，AFL联赛出线队赢，则至少大跌 10%。如果你按照这个指标来买卖股票，就要小心了！1998年，丹佛野马队（AFL）赢，当年股市大涨28%；2008年纽约巨人队（NFL）赢，股市 不仅大跌35%，还引发次贷金融危机。

    只要有超大样本和超多变量，我们都可能找到无厘头式的相关性。它完全符合统计方法的严格要求，但二者之间并没有因果关系。美国政府每年公布4.5万类经济数 据。如果你要找失业率和利率受什么变量影响，你可以罗列10亿个假设。我自己的研究经验也显示，只要你反复尝试不同的模型，上千次后，你一定可以找到统计 学意义上成立的相关性。把相关性当作因果关系，这是大数据采矿的另一个陷阱。

    我们说，三尺深的水池能淹死人，因为三尺只是平均值。忽略极值，采用平均值，它是大数据采矿第三个常见的陷阱。

    博弈论创始人之一，诺伊曼（John von Neumann）曾经戏言：有四个参数，我能画头大象，再加一个，我让大象的鼻子竖起来！大数据“采矿”可能给出新颖的相关性。但是，脱离了问题的情境，它不但不能保证因果关系，还可能误导决策。

小数据里藏着金钥匙

    巴恩斯利（Roger Barnsley）带他的孩子去我教书的莱桥市参加比赛时发现，摩羯座、水瓶座、双鱼座的孩子天生就是打冰球的，否则怎么会双方队员的生日大多在1月、2 月和3月？带着心理学家的好奇，他研究了加拿大成人队的队员生日，发现同样的规律。不过，巴恩斯利还没依赖大数据到迷信的程度。

    深入调查后他发现，加拿大少年队划分组别以1月1日为界。因此，在同一年龄组，那些1~3月出生的孩子自然有生理发育上的优势。因为是层层优选、优训，有起 点优势的孩子就可能不断成长，主导每个阶段的冰球队伍。只有明白“年龄划分日”这个小数据，奇异的现象才有科学的解释。

    罗列大量事例，在《偏差》中，格莱德威尔(Malcolm Gladwell)证明小数据的关键解码作用。

    小细节解锁大问题。类似的小数据决定作用出现在不同的现象中。依据大数据，旧金山地区卫生部门根据同性恋人群肝病发病率上升预计艾滋病例也会上升，但这两种 疾病流行正相关的预测失败。深入调查发现，同性恋对艾滋病越来越持平常心。他们利用新的社交网络，主动张贴自己的情况，避免交叉感染。这次，又是关于行为 和动机的小数据解释了大数据看不到的规律。

    小数据这把金钥匙难找，因为它们基本上是弱信号，出现的频率低，往往埋没在偏差值中，容易被忽视。同样难的是，它们过去没有规律性地出现过，人们不熟悉。对 不熟悉的现象，人们心理上错把它们当作不大可能的现象。因此，决策时，人们容易把弱信号当作背景噪音过滤掉了。例如，假如恐怖分子只学开飞机，不学降落这 个弱信号被关注，美国反恐历史可能要重写。

如何正确使用小数据？胡巴德（Douglas Hubbard）建议三种方法：

    1）不求完美，只求不断接近。古希腊人俄如多斯（Eratosthenes）利用两地中午日光正射和斜射的角度与距离估算出第一个地球周长。误差很大，但那是一个跨越式的认知进步。

    2）找“垫脚石”知识，用类比法提高认识。物理学家费米问学生，芝加哥城里有多少调琴师？他教学生学会从人口数、家庭数和拥有钢琴的家庭比例估算开始，推演到钢琴数量和调琴师大约的比例，再得出调琴师的估值。要点在于不囿于数据限制，学会用已知代换无知，推演估算值。

    3）不要简单化前提条件，但要力求简单模式。9 岁的罗萨（Emily Rosa）和她妈妈一起看电视介绍流行的“气场疗法”。罗萨把测试气场当作学校的一个科学项目。用两块遮挡纸板、几个直接问题，她采访和测试了29位气功 理疗师，证明气场至多只是心理作用。罗萨的简洁实验设计被美国医学杂志（JAMA）刊载。她也成为杂志最年轻的作者。

    求小步完善、类比借鉴和从简单模型开始，这三步也是对“贝尔斯定理”（Bayes Theorem）最好的运用。有条件概率分布的“贝尔斯定理”是掌握小数据的核心。

主与仆

    关于复杂系统，美国的圣塔菲研究所罗列三个典型特征：多变量、相互作用，并同时发生。据此，天气预报是最复杂的数据管理了。

    1916年，德国人理查森（Lewis Fry Richardson）尝试着把大数据化小，把整个德国的天气分割成纵横交错的小矩阵。这样每个格子里的天气对周边的影响就能简化了解。层层推进，他试图得出更靠谱的天气预测。理查森没有成功，因为当时的计算力不足。

    到1950年，诺尔曼将电脑计算和理查森的方法整合在一起。结果，我们有了越来越可靠的天气预报。

    理查森的小数据价值在于他对气候现象深刻的理解，并提炼出关键要素。诺尔曼的大数据贡献在于精确运算关键要素的动态运行形势和方向。二者结合，我们才有对气候的预报能力。

    只要整合大、小数据管理的要点和优点，我们就能逐渐完善认知模型，辨别信号和噪音。就像统计学家博可斯（George Box）所言：所有的模型都是错的，但有些仍有用。

==========================

    讯飞语音云：集成语音识别、语音合成和语义理解等语音技术的云计算平台。移动开发者通过集成讯飞语音云提供的能力，即可开发出能“听”会“说”的移动终端特色应用。