HIVE 列表型的str中的元素去重

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HIVE 列表型的str中的元素去重相关的知识,希望对你有一定的参考价值。

请问各位大神,hive表中有两列以逗号分隔的str字段,如
字段1:"A,B,C,D"
字段2:"X,R,D,A"
现在我想将这两列字符串进行拼接,但是需要在字段2中剔除与字段1相同的元素,并且保持各自的顺序不变。如上字段剔除后分别会变成"A,B,C,D"与"X,R",合并后变成"A,B,C,D,X,R",请问在hive中有什么办法可以实现这个功能吗???

参考技术A 只是去重的话可以用collect_set,,,如果还需要保持有序可能就需要用collect_list了

以上是关于HIVE 列表型的str中的元素去重的主要内容,如果未能解决你的问题,请参考以下文章

升级版去重 -- 去重且不保留重复元素

python 列表去重(数组)的几种方法

python-列表-元素去重

python:列表的去重:两种方法的问题是:结果是没有保持原来的顺序。

Java爬爬之网页去重和代理ip

python 列表多个元素如何配对去重呢?