Hive 选择行，其中 A 列中的字符串包含 B 列中的字符串

Posted 2023-03-23

【中文标题】Hive 选择行，其中 A 列中的字符串包含 B 列中的字符串

【英文标题】：Hive select rows where string in column A contains string from column B

【发布时间】：2018-08-23 21:01:30

【问题描述】：

我有一个数据集，其中包含一些行，其中一列中有无效条目。

我正在尝试从 B 列和 C 列中选择所有不同的行，但 B 列的条目无效。 A 列中的字符串包含 B 列的正确名称，所以如果我能弄清楚如何选择 str(b) 在 str(a) 中的所有行，那么我应该只得到正确的数据。

伪代码可能如下所示：

SELECT DISTINCT b,c FROM some.log WHERE date = 'today' AND str(b) IN str(a)

我知道如何使用 Python 来解决此问题，但 A 列在每一行上都是唯一的。因此，如果我选择不同的行并包含 A 列，我实际上只是选择了所有行，这会产生一个 60gb 的文件。

python 代码如下所示：

df = df[df.apply(lambda x: x.name in x.url, axis=1)]

这会导致这样的事情：

df

a                         b        c
/bobs/burgers/1234        bobs     idx 
/bobs/burgers/2234        fred     idx
/cindys/sandwhiches/3234  cindy    idx

df = df[df.apply(lambda x: x.name in x.url, axis=1)]

a                         b        c
/bobs/burgers/1234        bobs     idx
/cindys/sandwhiches/3234  cindy    idx

是否可以使用 Hive 进行过滤，从而无需下载大文件并使用 python 处理？

【参考方案1】：

除了like和rlike，你还可以使用这些函数：

使用instr：

select distinct b,c from some.log where date = current_date and a instr(a,b) > 0;

使用locate：

select distinct b,c from some.log where date = current_date and locate(b, a) > 0;

参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

【参考方案2】：

LIKE 或 RLIKE

select distinct b,c from some.log where date = 'today' and a like concat('%',b,'%');

或者

select distinct b,c from some.log where date = 'today' and a rlike concat('*',b,'*');

【讨论】：

'like' 为我工作。注意：如果您正在查找列中的特定子字符串，只需输入where column like '%substring%'，它就可以完成这项工作