睿帆科技高性能数据仓库解决方案，荣获2020中国信息通信大数据最佳创新方案奖

Posted 2021-04-26 数字经济网

2020年7月30日，2020第四届中国信息通信大数据大会在北京新世纪日航饭店召开，大会由中国工信出版传媒集团主办，中国电信、中国移动、中国联通支持，信通传媒承办。

大会以抗疫复产为开篇，吸引了众多政府、科研院所、运营商及企业的领导和专家参加，分享信息通信大数据在新基建背景下的战“疫”经验、5G发展部署思路、创新实战与解决方案。

会上，2020中国信息通信大数据应用创新评选结果正式发布。本届评选活动深度聚焦信息通信大数据在抗疫复产中的应用实践，经过广泛征集，并由相关科研机构、行业专家以及企业代表组成的专家评委团队的审核遴选，评选出一批具代表性的信息通信领域疫情防控和复工复产复课大数据产品和解决方案。

作为“掌握PB级核心处理技术”的大数据产品及解决方案供应商的广州睿帆科技有限公司，由大数据科学家李求实博士代表出席了该峰会。会上，睿帆科技的高性能数据仓库解决方案荣获最佳创新方案奖。

在会后采访中，李求实博士向记者讲述了睿帆科技高性能数据仓库解决方案的独到之处，以及相比于其他竞品的优势。

他提到，通信运营商实时采集信令数据、详单数据、告警数据、故障数据、网络资源数据等，每天的新增数据早已超过PB级。海量的数据意味着更高标准的数据分析业务，对于离线分析的时效、实时与近实时的即席实时交互分析，提出了更高的要求。

 

早些年在传统离线数仓阶段，通信运营商使用 Hive 作为大数据分析的主要工具，对 TB 至 PB 级的数据进行分析，但存在着以下的问题：

 

1. 时效性低

对于运营商业务来说，实时分析查询日志、告警次数，告警时间等数据，分析结果的价值取决于时效性。核心运维需求场景下，基于 Hive 的离线分析仅能满足 T+1 的时效，对于实时故障分析的需求越来越强烈。

 

2. 易用性低

基于Hive 离线数据分析平台，对于产品、运营、市场人员具有较高的技术门槛，无法满足自助的实时交互式分析需求；开发在上报和提取分析数据时，无法实时获取和验证结果，查询和分析日志经常需要几个小时。

 

3. 效率低

不停的执行交互式查询，所以对实时性要求高，所以效率低。

 

在运营商做业务的数据分析模型时，需通过探索性数据分析去实时执行交互式查询，其对海量数据的实时性交互查询速度要求高。通过Hive构建的业务数据分析模型，响应时间长，分析结果不及时，严重影响和拖慢了进度。

 

为了应对以上问题，提升流程效率，提高数据分析处理的时效性和易用性，数据的即席分析和数据可视化能力支撑需要优化和提升，让问题秒级响应，分析更深入，睿帆科技基于其自主研发的数据库产品——分布式分析型数据库雪球DB，完成了高可用、低延迟的高性能数据仓库解决方案，正好可以很好的解决这些问题。通过此方案可针对上千个节点的集群，日均新增PB 级以上的数据量，实现秒级的实时数据分析、提取、监控数据基础服务，大大提高了大数据分析与处理的工作效率。

 

同时，高性能数据仓库解决方案适用于PB级以上超大规模数据的实时写入、实时读取的OLAP 应用场景，查询速度较Presto、SparkSQL提升3-6倍，较Hive提升30-100倍。对比 Presto、SparkSQL、Hive等数据库，其具备高可靠的分布式MPP集群架构，使其可以多切片写入，完成线性扩展等。

 

此外，在OLAP场景中读多于写且经常存在多列的大宽表，列数可以高达数百甚至数千列。“为此，我们特地采用列式存储和向量化执行的方式来解决，极大的减低了IO 的消耗，加速了查询，也缩短了计算耗时。这让我们的技术优势更为突出。”李求实博士表示。

  

一直以来，硬核的技术以及贴合用户需求的创新性解决方案是睿帆科技的立身之本。此次睿帆科技高性能数据仓库解决方案荣获2020中国信息通信大数据最佳创新方案奖，标志着通信运营商行业对于睿帆科技的更高认可。未来，睿帆科技将再接再厉继续深耕通信运营商行业的同时，把更多优秀的产品解决方案带到更多的行业中，助力更多的企业实现高效、低成本的数字化转型。

同时，高性能数据仓库解决方案适用于PB级以上超大规模数据的实时写入、实时读取的OLAP 应用场景，查询速度较Presto、SparkSQL提升3-6倍，较Hive提升30-100倍。对比 Presto、SparkSQL、Hive等数据库，其具备高可靠的分布式MPP集群架构，使其可以多切片写入，完成线性扩展等。

此外，在OLAP场景中读多于写且经常存在多列的大宽表，列数可以高达数百甚至数千列。“为此，我们特地采用列式存储和向量化执行的方式来解决，极大的减低了IO 的消耗，加速了查询，也缩短了计算耗时。这让我们的技术优势更为突出。”李求实博士表示。

一直以来，硬核的技术以及贴合用户需求的创新性解决方案是睿帆科技的立身之本。此次睿帆科技高性能数据仓库解决方案荣获2020中国信息通信大数据最佳创新方案奖，标志着通信运营商行业对于睿帆科技的更高认可。未来，睿帆科技将再接再厉继续深耕通信运营商行业的同时，把更多优秀的产品解决方案带到更多的行业中，助力更多的企业实现高效、低成本的数字化转型。

‍