clickhouse数据库删除数据的五种方式

Posted 2023-04-05 小马穿云

文章目录

• 前言
• 一、通过删除表分区的方式
• 二、执行delete方式
• 三、执行truncate方式
• 四、设置表数据生命周期
• 五、删除数据文件目录
• 总结

---

前言

clickhouse数据库清理数据的方式很多，每种方式都各有自己的优缺点，请根据实际需要采用适合自己的方式，下面逐一介绍。

一、通过删除表分区的方式

##查询某表分区
ck001 :) select database,table,partition,name, bytes_on_disk  from system.parts where table='ck_test1';

┌─database─┬─table┬─partition─┬─name────┬─bytes_on_disk─┐
│ default  │ ck_test1 │ 202302    │ 202302_3_3_0 │           221 │
│ default  │ ck_test1 │ 202301    │ 202301_4_4_0 │           232 │
└──────────┴────────────────────┴───────────┴

##删除某表分区
ck001 :) alter table ck_test1 drop partition 202301;

二、执行delete方式

该方式为异步执行，并非实时。

## DELETE操作
-- 删除记录
alter table ck_table01 delete where id='11';
-- 删除分片表数据
alter table ck_table01 on cluster main_cluster where create_date>< '2023-02-02 15:00:00';

三、执行truncate方式

truncate适用于删除全表数据的情况，而且效率比DELETE更高。

truncate table default.ck_table01;

四、设置表数据生命周期

--设置白鸥ck_table01的TTL为30分钟
create table default.ck_table01
(
    id Int64,
    name Nullable(String),
    address Nullable(String),
    create_date Date
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_date)
ORDER BY id
TTL toDate(create_date) + toIntervalMinute(30)

toIntervalMinute：n分钟过期
toIntervalDay：n天过期
toIntervalMonth：n月过期

五、删除数据文件目录

clickhouse数据目录和元数据目录是分开的，所以删除数据目录文件并不影响表结构。下面以清空全部表数据为例。
1、停止clickhoue数据库

systemctl stop clickhouse-server

2、删除数据文件目录

rm -rf /opt/clickhouse/data/default/

3、启动clickhouse数据库

systemctl start clickhouse-server

总结

方法三、五将清理全部数据，请确保数据安全，根据实际场景谨慎应用。

List 去除重复数据的五种方式，舒服~

以下介绍五种-不同的方法去除 Java 中ArrayList中的重复数据

1.使用LinkedHashSet删除arraylist中的重复数据

LinkedHashSet是在一个ArrayList删除重复数据的最佳方法。LinkedHashSet在内部完成两件事：

• 删除重复数据
• 保持添加到其中的数据的顺序

Java示例使用LinkedHashSet删除arraylist中的重复项。在给定的示例中，numbersList是包含整数的arraylist，其中一些是重复的数字，例如1,3和5.我们将列表添加到LinkedHashSet，然后将内容返回到列表中。结果arraylist没有重复的整数。

import java.util.ArrayList;
import java.util.Arrays;
import java.util.LinkedHashSet;

public class ArrayListExample
{
    public static void main(String[] args)
    
    {

        ArrayList<Integer> numbersList = new ArrayList<>(Arrays.asList(1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8));

        System.out.println(numbersList);

        LinkedHashSet<Integer> hashSet = new LinkedHashSet<>(numbersList);

        ArrayList<Integer> listWithoutDuplicates = new ArrayList<>(hashSet);

        System.out.println(listWithoutDuplicates);

    }

}

输出结果

[1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]

[1, 2, 3, 4, 5, 6, 7, 8]

2.使用java8新特性stream进行List去重

要从arraylist中删除重复项，我们也可以使用java 8 stream api。使用steam的distinct()方法返回一个由不同数据组成的流，通过对象的equals（） 方法进行比较。

收集所有区域数据List使用Collectors.toList()。

Java程序，用于在不使用Set的情况下从java中的arraylist中删除重复项。

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;

public class ArrayListExample
{
    public static void main(String[] args)
    
    {
    
        ArrayList<Integer> numbersList = new ArrayList<>(Arrays.asList(1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8));

        System.out.println(numbersList);

        List<Integer> listWithoutDuplicates = numbersList.stream().distinct().collect(Collectors.toList());

        System.out.println(listWithoutDuplicates);
        
    }
    
}

输出结果

[1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]

[1, 2, 3, 4, 5, 6, 7, 8]

3.利用HashSet不能添加重复数据的特性 由于HashSet不能保证添加顺序，所以只能作为判断条件保证顺序：

private static void removeDuplicate(List<String> list) {
    HashSet<String> set = new HashSet<String>(list.size());
    List<String> result = new ArrayList<String>(list.size());
    for (String str : list) {
        if (set.add(str)) {
            result.add(str);
        }
    }
    list.clear();
    list.addAll(result);
}

4.利用List的contains方法循环遍历,重新排序,只添加一次数据,避免重复：

private static void removeDuplicate(List<String> list) {
    List<String> result = new ArrayList<String>(list.size());
    for (String str : list) {
       if (!result.contains(str)) {
           result.add(str);
        }
    }
    list.clear();
    list.addAll(result);
}

5.双重for循环去重

for (int i = 0; i < list.size(); i++) { 
for (int j = 0; j < list.size(); j++) { 
if(i!=j&&list.get(i)==list.get(j)) { 
list.remove(list.get(j)); 
 } 
} 

作者 | 多纤果冻
来源 | csdn.net/qq_37939251/article/details/90713643