4.DBus学习

Posted 2020-12-19 百里登风

1、什么是DBus
DBus（数据总线）项目为了统一数据采集需求而生， 专注于数据的收集及实时数据流计算，通过简单
灵活的配置，以无侵入的方式对源端数据进行采集，采用高可用的流式计算框架，对公司各个IT系统在
业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数
据使用方订阅和消费，充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。支持多
租户管理，提供租户级资源、数据隔离机制 。

2、DBus 的主要应用场景
数仓平台和数据分析平台
实时营销决策
实时报表展示
异构数据实时同步
其他实时性要求高的系统

 

 

3.DBus all in one的部署

DBus安装部署分为以下两种方式（注意：两种方式不可以混用）：

All In One体验版
该版本安装在单机上，自动部署安装dbus所依赖的相关组件，仅用于体验dbus基本功能，
不可以用于生产。
该版本支持mysql数据源接入体验。

集群部署
用于生产环境或测试环境部署。
可部署在单机上或集群上。
该版本包含对Oracle、mysql，logstash、filebeat、flume等数据源的支持。

由于电脑配置有限，这里采用all in one的部署方式作为学习使用

 

3.1 环境准备
说明all in one是一个单机版本dbus环境，是给用户快速体验dbus的功能，只是一个简单体验版，不能
用于其它环境或者用途，具体包括如下：
基础组件：
zookeeper 3.4.6
kafka 0.10.0.0
storm 1.0.1
granfana 4.2.0
logstash 5.6.1
influxdb （需要单独安装， 参考如下步骤3）
mysql （需要单独安装，参考如下步骤2）
dbus相关包：
dbus-keeper 0.5.0
dbus-stream-main 0.5.0
dbus-router 0.5.0
dbus-heartbeat 0.5.0
dbus-log-processor 0.5.0
mysql数据源所需软件：
canal


3.2 安装dbus-allinone环境的建议配置如下
JDK 1.8.181 或 以上
CPU 2核 或以上
内存 16GB或以上
磁盘 20GB或以上