大数据运维监控管理平台

Posted 2021-04-26 智朗科技官微

近年来，大数据（Big data）这个词被越来越多的人所提及，可以说我们已经身处大数据时代。

那么，什么是大数据呢，大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》^[1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）^[2]：

・Volume（大量）

・Velocity（高速）

・Variety（多样）

・Value（低价值密度）

・Veracity（真实性）

有人比喻说大数据应用很大程度上是“沙里淘金”，如何从大数据中挖掘有价值的信息，让数据更好的为人类服务，是人们越来越感兴趣的课题。

与大数据相关，我公司搭建了一个大数据运维监控管理平台，简单介绍如下。

平台简介

该平台将复杂的大数据节点及集群操作简单化和标准化，运维人员可以像使用普通数据库一样使用该平台进行大数据集群的创建、管理、监控。

▲产品截图

支持内容

平台支持Hadoop 整个生态圈，例如HDFS、MapReduce、Hbase、Zookeeper 、YARN、Storm、Spark、Hive、Pig、Kafka、Cassandra等，以及Presto、Redis等。

主要特征

平台结构

该平台采用BS结构（Browser-server），所有操作都可在浏览器端完成，便于操作。

安装

可视化安装所有支持的组件，跟踪每个安装步骤的状态、版本、权限、配置信息

配置

在页面上可以看到所有组件的配置信息，并可以对配置进行修改

监控·报警

通过页面配置可以监控系统组件状态，对监控指标设定阈值，超过阈值发送通知

可扩展性

该平台除支持主流Hadoop生态组件外，还可以快速支持自定义组件

▲图片为示意图

数据制胜未来，洞察赢得先机，希望我们的大数据运维监控管理平台为您创造更大的价值。

参考资料

1.  大数据时代还有隐私吗？  ．中国大数据[百度百科][引用日期2020-08-25]

2.  大数据仍然离不开人的赋予  ．中国大数据[百度百科][引用日期2020-08-25]

往期精选

end