超人学院大数据技术沙龙

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了超人学院大数据技术沙龙相关的知识,希望对你有一定的参考价值。

头一次,参加技术沙龙哈哈哈哈哈

第一个牛人演讲概要

1.图计算

2.Tungsten

3.建议

图存储与计算机中是一个矩阵,在矩阵中标识各个定点和边的属性。

在图中求取关键路径则需要图计算,相对于hadoop的技术要快很多。主要因为图计算的每次迭代都会去掉一些信息(点和线)。hadoop则是全部在进行运算。所以相对于一些图的问题,还是图计算比较快。

图计算的几个框架

GIRAPH(开源)、GraphLab(开源,速度快)、GoolgePregel(未开源)

图计算的应用:

PageRank图,权重

User_Item Graphs 

Triangle Counting三角形计算

Social NetWorks 社交网络

 

Tungsten比较快,在dateset中自动引用。由于使用了java中的sun.misc.unsafe。不使用jvm的垃圾回收策略,自己控制后大大提升了计算速度。

例如:字符串“abcd”正常应该是4个字节,但是如果是对象的表示则添加object head12字节,而后还加了一些其他的东西,一共是24字节。在java中使用unicod保存,则24*2=48字节。

这个就是使用jvm的差异,在gcTime中

图中使用BSP模型

建议:

不一定是分布式就会快,网路传送数据会有很多的延迟消耗。只要将大数据计算中的模型,基本的原型搞懂,不一定非要分布式才会高效。最好高效的算法需要自己实现。

大数据能力:存储、计算、查询、挖据

pasal语言很重要????不知道什么语言了。妈的

go语言

scala语言

 

以上是关于超人学院大数据技术沙龙的主要内容,如果未能解决你的问题,请参考以下文章

超人学院Hadoop大数据资源分享

上海沙龙回顾 | Redis 高速缓存在大数据场景中的应用

FMI2018线下技术沙龙(深圳站)

市大数据局与聊城职业技术学院签署“大数据安全人才培养基地合作协议”

大数据学院|数据科学与大数据技术专业介绍

大数据学院|计算机科学与技术(与华为ICT学院校企合作)专业介绍