腾讯技术工程 |腾讯数据平台部总监刘煜宏:这5大产品平台,展示了腾讯大数据的核心能力

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了腾讯技术工程 |腾讯数据平台部总监刘煜宏:这5大产品平台,展示了腾讯大数据的核心能力相关的知识,希望对你有一定的参考价值。

12月13日,“2017互联网+大数据高峰论坛”在北京中国大饭店拉开帷幕。来自政府、研究机构及高校、企业的大数据专业人士共聚一堂,以“慧聚数据之力,赋能智慧政企”为主题,畅谈大数据的现状及未来。腾讯技术工程事业群数据平台部刘煜宏受邀参加“腾讯慧聚”品牌的发布仪式,并向在场嘉宾介绍了“腾讯慧聚”的5大产品平台。

技术分享图片


十年磨一剑,砺得梅花香。“腾讯慧聚”是腾讯运用多年技术及经验打造而成的政企大数据解决方案系列产品,旨在为政府和企业提供可靠、安全、易用的大数据处理平台。同时,通过深挖大数据潜在价值,助力用户提高大数据管理效率,实现“智慧政企”的目标。


回溯过往,腾讯大数据经过了8年的打磨和积累,如今以全新的品牌形象展示在世人面前


“我们希望通过腾讯慧聚,开放腾讯海量实践的大数据能力,更好的赋能外部客户。”腾讯互联网+大数据产品中心总经理刘煜宏表示,腾讯内部有强烈的大数据业务需求,且已在QQ、微信、视频、游戏等上千款产品上进行了应用。因此无论是大数据实践经验还是运营能力,腾讯慧聚都具有无可比拟的优势。作为腾讯力推的政企大数据解决方案专家,腾讯慧聚可为政府、企业提供内容多样的大数据平台产品。

技术分享图片


据刘煜宏介绍,腾讯慧聚当前共包括五大平台:Dmaster(大数据一站式平台)、Tbase(海量事务处理平台)、TDbank(实时接入平台)、Hermes(实时多维分析平台)、TDinsight(机器学习基础平台)。这五大平台除了Dmaster是一个一站式、覆盖全流程的平台外,其他四个平台各有侧重。这也是腾讯根据多年服务不同类型客户的经验,所挖掘出的不同需求。


而用户则可以根据自身情况,在公有云、私有云、非云化环境中部署大数据处理服务,以实现自身对大数据处理及管理的需求。

技术分享图片


 通过Dmaster,可一站式获得强大的大数据开发、数据分析、数据挖掘及数据管理能力,成为用户提升海量数据资产管理效率提供的有力支撑。全链路大数据开发引擎,提供拖拽式的可视化数据开发IDE,为用户的大数据集成、存储、计算环节提供完整而稳定的企业级解决方案。同时,Dmaster的优势在于,操作简便、按需扩展,能够轻松上手,将宝贵的精力更多地聚焦于自身的业务创新。

技术分享图片


Tbase则侧重于海量数据处理,是腾讯数据库内核团队深耕多年打造的MPP(大规模并行处理)数据库产品,具备业界先进的数据治理和数据安全特性。擅长高并发实时入库、实时查询以及海量交易事务处理,针对业务数据散列存储后出现的分布不均匀问题,Tbase能够有效解决业务数据倾斜问题,保证不同数据规模的业务交易处理具有一致的响应性能。

技术分享图片


作为实时接入平台,TDbank具有的“高灵活、高可用、高吞吐、低延时”的核心优势,可以从业务数据源获取数据分发给离线/在线处理平台,构建数据源和数据处理系统间的桥梁,将数据处理系统同业务侧的数据源解耦。海量数据实现秒级接入和分拣,以确保数据采集交换实时高效。这一成绩,源于8年间每天峰值数据接入,日接入量超过十万亿的严苛考验。



实时多维分析平台Hermes,是腾讯针对交互式海量数据分析需求自主研发的数据多维分析平台,是腾讯处理千亿级海量数据用户画像和多维分析的核心技术与经验的积累。在腾讯内部,Hermes经过了千亿级数据、上万个维度指标的用户画像实践验证,可以轻松地对千亿级数据进行毫秒级的任意维度、任意层级的探索分析,助力用户快速洞察数据价值。

技术分享图片


TDinsight作为机器学习基础平台,可以提供一站式的机器学习平台,释放数据潜力,帮助用户快速接入人工智能的快车道。该平台集成分类、聚类、搜索、排序、推荐、图形识别、自然语义处理等机器学习和深度学习领域的主流算法。更重要的是,除了既有算法,TDinsight还允许用户集成自有的算法。在支持自定义算法的同时,还提供常用深度学习模型,即拖即用,操作灵活。

技术分享图片


据悉,“腾讯慧聚”目前已在消防、警务、交通、气象、园区、物联、电力运营等场景进行应用。

 

技术分享图片


以上是关于腾讯技术工程 |腾讯数据平台部总监刘煜宏:这5大产品平台,展示了腾讯大数据的核心能力的主要内容,如果未能解决你的问题,请参考以下文章

腾讯技术工程 |腾讯企业级消息中间件CMQ技术解密

腾讯织云:DevOps流水线应用平台践行之路

解密Elasticsearch技术,腾讯开源的万亿级分布式搜索分析引擎

涨知识!腾讯云数据库内核揭秘TXSQL Internals@2018

原腾讯QQ技术总监T13专家,黄希彤被“离职”,原因竟是……

腾讯技术工程 |QQ相册后台存储架构重构与跨IDC容灾实践