Spark 实战系列Spark 使用 BulkLoad 同步数据到 hbase 排序优化

Posted 2022-12-10 JasonLee实时计算

Spark 使用 BulkLoad 同步数据到 hbase 排序优化

前言

最近群里有同学问我 spark 用 bulk 写入 hbase 的时候报错，因为 rowkey 排序的问题，今天带大家分析一下这个问题，先看下面的 demo。

优化前 demo

package hbase

import java.net.URI
import com.alibaba.fastjson.JSON
import org.apache.hadoop.conf