智能大数据SMART准则(读书笔记)

Posted 每天看一遍,防止恋爱&&堕落

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了智能大数据SMART准则(读书笔记)相关的知识,希望对你有一定的参考价值。

引言部分
1、智能渔业
将微型传感器安置到鱼身上,用意追踪任何特定时间的鱼群位置,并运用声呐探测鱼群密度以及何时何地撒网

2、智能运动
英式橄榄球队员都有一个GPS追踪系统,使得假脸人员能够知道每一个队员的情况

3、智能保健
类似Ginger.io等云服务以及可以通过消费则手机中安装的应用,检测患者的身体情况。Proteus公司制作的一款尺寸只有一粒沙大小的“可吞服”传感器,可以追踪患者服药的时间和方式

4、智能家居
来生长谈了

5、智能恋爱
通过大数据分析,得到模型,再通过模型对所有的人进行配对

6、智能育儿
比如最新一代的尿不湿可以通过分析尿样,提醒父母当前婴儿的身体状况

商业智能化

1、沃尔玛
例如,如果你从沃尔玛买了烧烤相关的产品,你的位置处在局里一家沃尔玛门店3英里半径的范围内,且阳光明媚,沃尔玛就会向你的手机发送一张烧烤架清洁剂打折券

2、非结构化的数据
研究告诉我们,公司实际用来进行决策的信息不足20%。而且,这20%也仅仅是传统的结构化KPI或财务数据。如果能把非机构化数据也利用起来,那么价值会超乎想象

制定智能战略
当你从制定战略起步,那么你明白需要什么,进而决定手机什么数据来解答问题

明确需要什么信息,能得到且会用到的信息是什么,然后建造时间上最小、最直接的数据库

有一句话可能经常听得到“嗯,最好不要丢掉任何东西,说不定未来能用上”。但是这句话需要分清场合,比如在数据上,数据是有声明周期的,与其让不断增加的信息给你施压,不如忘掉五年前的数据库,但是更重要的是,退后一步,问问自己什么才是最重要的。然后,用得到的结论指引行动和选择数据。

实践中的SMART战略板

a、目的面板
战略目的,最终想要把公司做成什么样
b、客户面板
需要考虑两方面----目标市场和价值主张,简单来说就是明确客户为什么从你这里买东西?
c、财务面板
提高公司的营收
d、运营面板
培养核心竞争力----需要在哪些内部环节做到最好?(产品/服务研发,创造需要,满足需要,监管和社会关系等)
e、资源面板
你需要什么IT系统和数据才能完成战略目标,什么样的人才能帮助完成这样的IT系统和什么样的工具能得到这样的数据?
f、竞争和风险面板
你该想想在实现战略的过程中,会面临哪些挑战和风险

度量指标和数据

非结构化数据和半结构化数据
代表着所以不被轻易插入列、行,以及字段和数据。样例包括:照片和图形图像、视频录像、网址、文本或者诸如电子邮箱、pdf、博客、社交媒体的帖子等、ppt。这样的数据中存在某些可以用于分析的结构,但是缺乏严格的数据模型结构。例如,Facebook上的帖子可以根据作者、数据、长度甚至是情感进行分类,但是其内容通常是非结构化的。

数据化的许多东西都在影响着我们
例如读书的数据,我们读了什么,读了多久,是否跳读了,在哪一页做了批注,以及在哪里进行了高亮标注。这些信息对作者和出版商都有用。这会让其他作者对内容进行调整来缩短或改进特定部分的内容,从而使读者更好地进行阅读体验。另外,作者和出版商可能会从各种书籍经常被划重点的段落中辨别读者们的兴趣所在,判断新的话题走向趋势

举个例子,2013年台风席卷菲律宾过后,志愿者平均每天都会受到数以百万计的照片、短信和视频等。通过准确找出改数据来自菲律宾的哪个地方(通过照片或者是文本发放的gps传感器来定位),然后志愿者们就制成一个在线地图,当灾区救援队来的时候,他们不需要花时间去就知道哪个受灾地方最严重了

传感器的数据
貌似每一本这类的书总是会提...

物联网给未来创造了不少的可能
如果一个早会取消了,你的电脑就会自动设置成一个晚一点的工作,也会将你的咖啡机推迟到一个新的叫醒时间。你的冰箱会知道它里面有什么东西,并且不需要你做任何事情,你的冰箱就会自动在网上下订单来填满存货

大数据的分解

确认你需要测量的数据(有个逻辑的等级)

a、内部结构数据,这是最容易找到并最容易进行分析的
b、内部半结构化数据
c、内部非结构化数据
d、外部结构化数据
e、外部非结构化数据

比如你可以想一想,以下的数据能帮助到你完成你的课题吗?

a、调查调研数据
b、销售和事件物数据
c、眼球追踪数据
d、运行数据需求
e、供应数据
f、财经数据
g、金融交易数据
h、股票市场数据
i、现金流数据
j、招聘数据、找工作的数据

运用数据分析技术

文本分析方法,典型的文本分析方法包括
1、文本归类
将一些结构归到文本中,这样就可以用于分析和查询,比如垃圾邮件归类
2、文本收集
文本手机允许你自动手机文本中大量的知识库,并将其转化成有意义的快速获取信息或者过滤的主题或者类别
3、概念提取
现在被很多法律公司用于商务领域,这些法律公司有成百上千的法律文件需要处理。概念提取分析法可以导向目标追踪文件里很可能与新情况最相关的问价,这样就会给认识部分节省大量宝贵的时间来将之前的数据进行定位
4、情感分析
也成为观点挖掘,它竭力从文本中提取主观的观点或者情感,比如使用twitrratr工具对星巴克公司的情感分析;例如,运动饮料公司Gatorade利用一系列的话题来检测博客的对话内容,并展示博客圈的这些对话有多火。该公司也对重要的话题、产品,以及竞选会动进行具体的情感分析。他也追踪与品牌(包括竞争者、运动员以及体育营养类的主题)相关的词汇。基本上,Gatorade公司知道全世界的人们对其冻死以及公司的产品说了什么
5、文本概括
这个文本分析工具允许你利用电脑程序自动总结文件内容,来保留源文件中最重要的内容。这种自动归纳有两种方法:提取和摘要。

视频和图像分析技术

1、谷歌的NameTag,用户只需要通过谷歌眼镜中的NameTag应用看一下陌生人,就会立即得到一条包含陌生人姓名、职业和Facebook上个人介绍完全匹配的信息
2、一些公司不仅仅是分析单个图像,而且还在通过一组图像分析变化。例如,可以发现你当前上传的图片和之前的比较是胖了还是瘦了,是开心还是悲伤

联合分析技术
把各个分析技术联合起来使用

被点赞说明了什么
Facebook上别人给你点的赞可以用来揭示与你有关的许多私密的细节、性格特点和偏好,这些属性在其他情况下你是不能与他们分享的。剑桥大学和微软研究实验室的一项研究为我们展示出,Facebook上类似点赞等模式是如何能够自动且精确地预测大量高敏感度的个人特质的。该研究最终表明,点。很小或几乎没有,通常,一个赞就能产生精确预测。比如赞了科学、莫扎特一次说明你智商高
得到了你的性格特点之后,还可以做更多有趣的事情,比如可以推送一些商品或者书籍。

最后
数据分析时,对信息使用的目的和手段要保持诚实和透明度---对客户尤其如此
为提供数据的人增加价值,记住这么做是公平且值得的。

数据可视化

1、柱状图
2、线条图
3、饼形图
4、散布图

许多新老工具都可以进行数据可视化,但可视化不是目标。漂亮的图标仍然可能毫无意义。我们包装的信息要能够讲故事。最好的方式来讲故事,可以通过以下途径

1、展示地图
假如你需要展示一系列发杂的数据集,那么如果数据在地图上以叠加的方式呈现,你的故事就能更简明、清晰。可以参考polymaps。
2、展示文本
基于词云的最常见的感情展示
3、展示数据
D3.js可以多样式的展示数据
3、展示行为和情绪
现在我们能知道一个网站的热点在哪里,一首歌是什么形状
4、展示关联

成功的数据可视化的和信息图的要素

1、确定你的目标首宗
2、定制数据可视化方案
3、给数据可视化一个清晰的标签或标题
4、强数据可视化和你的策略联系起来
5、明智地选择你的展示图表
6、使用标题让重点突出
7、在恰当出添加文字说明

重点和行动纲领

1、更好地理解并定位客户
2、改进优化业务流程
3、提高人们的健康和幸福水准
4、增强安全性,减少欺诈
5、鼓励提高企业和员工业绩
6、改善工作场所和其他基础设施的条件

结论

1、不要一开始就着眼于数据。如果你这么做了,就会发现自己深陷在满是选择无法脱身的状态中。实现要注意的是战略,要弄清楚自己需要知道什么,为什么要知道这些,在将这些死开结果和你的长期战略与短期战术目标联系起来
2、清楚了自己目标之后,就可以开始找达到这些目标的数据。如果能帮你解决问题的有三种数据来源,那么就集中精力于你已有或最容易得到的那类数据上。
3、记住,一定要从已有易得的结构良好的内部数据开始,相对于结构不良的外部数据,前者更容易分析。
4、有了数据就要考虑分析了
5、分析完毕之后,就要考虑怎样将这些数据进行展示了
6、最后在判断是否达到自己的目标来改变前面步骤的内容

以上是关于智能大数据SMART准则(读书笔记)的主要内容,如果未能解决你的问题,请参考以下文章

数据仓库商业智能及纬度建模初步读书笔记

《数据仓库工具箱 - 纬度建模权威指南》--- 第一章 数据仓库商业智能及纬度建模初步读书笔记

周鸿祎《智能主义》读书笔记

Smart-Plant商业智能云平台建设

读书笔记 - 《智能主义》

第二篇:智能电网(Smart Grid)中的数据工程与大数据案例分析