Oracle 中实现随机抽取数据

Posted 2023-03-19

参考技术A

一、Oracle取随机数据 1、Oracle访问数据的基本方法： 1）、全表扫描(Full table Scan)：执行全表扫描，Oracle读表中的所有记录，考查每一行是否满足WHERE条件。Oracle顺序的读分配给该表的每一个数据块，且每个数据块Oracle只读一次.这样全表扫描能够受益于多块读. 2）、采样表扫描(sample table scan)：扫描返回表中随机采样数据，这种访问方式需要在FROM语句中包含SAMPLE选项或者SAMPLE BLOCK选项. 注：从Oracle8i开始Oracle提供采样表扫描特性

2、使用sample获得随机结果集 2.1、语法： SAMPLE BLOCK [ SEED (seed_value) ] SAMPLE选项：表示按行采样来执行一个全表扫描，Oracle从表中读取特定百分比的记录，并判断是否满足WHERE子句以返回结果。 BLOCK： 表示使用随机块例举而不是随机行例举。 sample_percent：是随机获取一张表中记录的百分比。比如值为10，那就是表中的随机的百分之10的记录。 值必须大于等于.000001，小于100。

SEED：表示从哪条记录返回，类似于预先设定例举结果，因而每次返回的结果都是固定的。该值必须介于0和4294967295之间。

2.2、举例说明

(1)sample(sample_percent):

(2)、sample block(sample_percent)

(3)、sample block(sample_percent) seed(seed_value)

注意以下几点:

1.sample只对单表生效，不能用于表连接和远程表 2.sample会使SQL自动使用CBO

3、使用DBMS_RANDOM包 DBMS_RANDOM有两种主要的使用方法分别是：DBMS_RANDOM.VALUE()和DBMS_RANDOM.RANDOM

4、使用 内部函数sys_guid()

****注:****

在使用sys_guid() 这种方法时,有时会获取到相同的记录，即和前一次查询的结果集是一样的，查找相关资料，有些说是和 操作系统 有关，在windows平台下正常，获取到的数据是随机的，而在 Linux 等平台下始终是相同不变的数据集，有些说是因为sys_guid()函数本身的问题，即sys_guid()会在查询上生成一个16字节的全局唯一标识符，这个标识符在绝大部分平台上由一个宿主标识符和进程或进程的线程标识符组成，这就是说，它很可能是随机的，但是并不表示一定是百分之百的这样。

所以,为确保在不同的平台每次读取的数据都是随机的,我们大多采用使用sample函数或者DBMS_RANDOM包获得随机结果集，其中使用sample函数更常用，因为其查询时缩小了查询范围，在查询大表，且要提取数据不是很不多的情况下，会对查询速度上有明显的提高。

SQOOP增量抽取时，在HIVE中实现类似Oracle的merge操作

数据仓库建设中的数据抽取环节，常常需要增量抽取业务库数据。但业务库数据不是一层不变的，会根据时间发生状态变更，那么就需要同步更新变化数据到HIVE中。过去在Oracle上做数据仓库时，可以使用merge的方法合并新老数据。但hive中没有该功能，本文旨在通过sqoop抽取后，自动实现数据合并。

表设计

将抽取表分为三张，

1. 一张_arc表，保存每日合并后的快照，根据pt字段分区
2. 一张_inc表，用于保存当日抽取的增量数据，根据pt字段分区
3. 一张不带后缀的表，指向最终表给后续ETL任务使用。

步骤

1. 使用sqoop进行hive import，将数据导入_inc表
2. 核心，使用full join、coalesce、if组合的SQL合并将inc表当日分区数据与arc更前一日分区数据合并到_arc表当日分区中。
3. 最终表通过hive命令set location指向_arc当日分区。

代码要点：

merge SQL

use ods; 
insert overwrite table mytable_arc partition (pt=‘20200407‘) 
select coalesce(a.id,b.id), if(a.id is null, b.type, a.type), if(a.id is null, b.amt, a.amt) from (
  select id, type, amt
  from mytable_inc where pt=‘20200407‘
) a full join (
  select id, type, amt
  from mytable_arc where pt=‘20200406‘
) b on a.%s = b.%s" 

hive set location

use ods; 
alter table mytable set location ‘hdfs://hadoop01:9000/user/hive/warehouse/ods.db/mytable_arc/pt=20200407‘"