使用PostgreSql的Copy功能来导入增量数据的步骤

Posted 2020-12-11 星星c#

一、参照原数据表创建临时表

CREATE TEMP TABLE temp_testbulkcopy ON COMMIT DROP as (select * from testbulkcopy limit 0);

1、temp_testbulkcopy 为临时表的表名

2、testbulkcopy  为实际数据表的表名

3、ON COMMIT DROP 表示用完这次就自动删掉

 

二、把数据通过Copy的方式导入到临时表里 

COPY temp_testbulkcopy FROM ‘C:data	estOutPut.csv‘ WITH csv header DELIMITER ‘|‘ encoding ‘UTF8‘;

 

三、根据主键删除实际表与临时重复的数据(有重复证明就有更新)

delete FROM testbulkcopy where "ID" in (select "ID" from temp_testbulkcopy);

 

四、把临时表的数据插入到实际表中

INSERT INTO testbulkcopy  select * from temp_testbulkcopy;

 

附录：

1、用来演示的表的建表语句：

CREATE TABLE public.testbulkcopy
(
    "ID" character varying(38) COLLATE pg_catalog."default" NOT NULL,
    "NAME" character varying(255) COLLATE pg_catalog."default",
    "CITY" character varying(255) COLLATE pg_catalog."default"
)

2、测试数据

ID|NAME|CITY
bedf812f-2311-4717-a749-8b1272fc3c86|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c87|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c88|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c89|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c81|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c82|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c83|张三|北京