再见,MySQL!头条腾讯快手都在用的OLAP新秀已成气候!
Posted 顶级程序员
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了再见,MySQL!头条腾讯快手都在用的OLAP新秀已成气候!相关的知识,希望对你有一定的参考价值。
如何实现智能路经检测,查询出符合条件的路径详情及符合路径的用户数? 关于有序漏斗转化,如果想要更准确一些该怎么做? 面对大量的订单记录,如果想按照地域、时间、来源等维度等进行实时分析,该怎么实现? 对于海量评论数据,想要查询好评差评的比例,如果进行准实时分析想要秒级实现的话,如何来完成?
01
对大数据开发工程师的能力新要求
OLAP型大数据开发能力
OLAP 必备技术栈
-
今日头条内部用ClickHouse来做用户行为分析,内部一共几千个ClickHouse节点,单集群最大1200节点,总数据量几十PB,日增原始数据300TB左右。 -
腾讯内部用ClickHouse做游戏数据分析,并且为之建立了一整套监控运维体系。 -
携程内部从18年7月份开始接入试用,目前80%的业务都跑在ClickHouse上。每天数据增量十多亿,近百万次查询请求。 -
快手内部也在使用ClickHouse,存储总量大约10PB, 每天新增200TB, 90%查询小于3S。
-
同时支持高并发点查询和高吞吐的Ad-hoc查询。 -
同时支持离线批量导入和实时数据导入。 -
同时支持明细和聚合查询。 -
兼容MySQL协议和标准SQL。 -
支持Rollup Table和Rollup Table的智能查询路由。 -
支持较好的多表Join策略和灵活的表达式查询。 -
支持Schema在线变更。 -
支持Range和Hash二级分区。 -
02
玩转ClickHouse、Doris两大OLAP利器!
怎么学能快速应用?
以上是关于再见,MySQL!头条腾讯快手都在用的OLAP新秀已成气候!的主要内容,如果未能解决你的问题,请参考以下文章
极客头条:腾讯给2.57万名员工发股票:人均超8万港元;联发科称功耗芯片技术领先对手10年;快手被曝劝退低绩效员工
搜狐大量员工遭遇“工资补助”诈骗;腾讯客服回应“借钱就能避免微信号被封”;TypeScript 4.7发布|极客头条