用HAWQ轻松取代传统数据仓库（十四） —— 高可用性

Posted wzy0623

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了用HAWQ轻松取代传统数据仓库（十四） —— 高可用性相关的知识，希望对你有一定的参考价值。

一、HAWQ高可用简介

        HAWQ作为一个传统数仓在Hadoop上的替代品，其高可用性至关重要。通常硬件容错、HAWQ HA、HDFS HA是保持系统高可用时需要考虑并实施的三个层次。另外实时监控和定期维护，也是保证集群所有组件健康的必不可少的工作。
        总的来说，HAWQ容错高可用的实现方式包括：
  • 硬件冗余
  • master镜像
  • 双集群

1. 硬件级别的冗余（RAID和JBOD）

        硬件组件的正常磨损或意外情况最终会导致损坏，因此有必要提供备用的冗余硬件，当一个组件发生损坏时，不中断服务。某些情况下，冗余的成本高于用户所能容忍的服务中断。此时，目标是保证所有服务能够在一个预期的时间范围内被还原。
        虽然Hadoop集群本身是硬件容错的，但HAWQ有其特殊性。HAWQ master的数据是存储在主机本地硬盘上的，是一个单点。作为最佳实践，HAWQ建议在部署时，master节点应该使用RAID，而segment节点应该使用JBOD。这些硬件级别的系统为单一磁盘损坏提供高性能冗余，而不必进入到数据库级别的容错。RAID和JBOD在磁盘级别提供了低层次的冗余。

2. master镜像

        高可用集群中的master节点有两个，一个主一个从。和master节点与segment节点分开部署类似，master的主和从也应该部署到不同的主机，以容忍单一主机失效。客户端连接到主master节点并且查询只能在主master节点上执行。从master节点保持与主master节点的实时同步，这是通过将预写日志从主复制到从实现的。

3. 双集群

        可以通过部署两套HAWQ集群，存储相同的数据，从而增加另一级别的冗余。有两个主要方法用于保持双集群的数据同步，分别是双ETL和备份/还原。
        双ETL提供一个与主集群数据完全相同的备用集群。ETL（抽取、装换与装载）指的是一个数据清洗、转换、验证和装载进数据仓库的过程。通过双ETL，将此过程并行执行两次，每次在一个集群中执行。应该在两个集群上都进行验证，以确保双ETL执行成功。这种做法是最彻底的冗余，需要部署两套HAWQ集群与ETL程序。该方法带来的一个附加好处是应用利用双集群，能够同时在两个集群上查询数据，将查询吞吐量增加一倍。
        用备份/还原方法维护一个双集群，需要创建一个主集群的备份，并在备用集群上还原。这种方法与双ETL策略相比，备用节点数据同步的时间要长的多，但优点是只需要开发更少的应用逻辑。如果数据修改和ETL执行的频率是每天或更低的频率，同时备份/还原时间又在可接受的范围内，那么用备份生成数据是比较理想的方式。注意，备份/还原方法不适用于要求数据实时同步的情况。

二、master节点镜像

        在HAWQ中配置一主一从两个master节点，客户端连接点主master节点，并只能在主master节点上执行查询。从master是一个纯粹的容错节点，只作为主master出现问题时的备用。如果主master节点不可用，从master节点作为热备。可以在主master节点联机时，从它创建一个从master节点。
        当主master节点持续为用户提供服务时，HAWQ可以生成主master节点实例的事务快照。除了生成事务快照并部署到从master节点外，HAWQ还记录主master节点的变化。在HAWQ在从master节点部署了快照后，HAWQ会应用更新以将从master节点与主master节点数据同步。
        主从master节点初始同步后，HAWQ分别在主、从节点上启动WAL Send和WAL Redo服务器进程，保持主从实时同步。它们是基于预写日志（Write-Ahead Logging，WAL）的复制进程。WAL Redo是一个从master节点进程，WAL Send是主master节点进程。这两个进程使用基于WAL的流复制保持主从同步。
        因为master节点不保存用户数据，只有系统目录表在主从master节点间被同步。当这些系统表被更新时（如DDL所引起），改变自动拷贝到从master节点保持它与当前的主master节点数据一致。
        HAWQ中的master节点镜像架构如图1所示。