SQL Server性能优化删除大量数据的方法比较

Posted 2021-03-24 lonelyxmas

原文:【SQL Server性能优化】删除大量数据的方法比较

如果你要删除表中的大量数据，这个大量一般是指删除大于10%的记录，那么如何删除，效率才会比较高呢？ 而如何删除才会对系统的影响相对较小呢？

下面先做一个实验，然后对这个实验的结果进行分析，然后得出结论。

1、创建数据库

use master
go
 
if exists(select * from sys.databases where name = ‘test‘)
   drop database test
go
 
create database test
go

2、创建表

use test
go
 
 
if exists(select * from sys.tables where name = ‘t‘)
   drop table t
go
 
create table t(i int,v varchar(100) default replicate(‘a‘,100)
                    ,vv varchar(100) default replicate(‘a‘,100),
                    vvv varchar(100) default replicate(‘a‘,100));

3、插入数据

用下面的代码添加100000条记录,消耗9秒：

declare @i int;
 
set @i = 1
 
begin tran
 
	while @i <= 100000
	begin
		insert into t(i) values(@i)
	   
		set @i = @i + 1   
	end
 
commit tran

而如果用下面的代码，添加100000条记录,消耗43秒：

declare @i int;
 
set @i = 1
 
while @i <= 100000
begin
    begin tran
		insert into t(i) values(@i)  --没执行一次就提交一次,效率较差  
    commit tran
    
	set @i = @i + 1   
end

重复插入数据，消耗1分38秒

insert into t
select *
from t
go 6

最后总共插入了640万条数据。

4、建立索引

create index idx_t_idx1 on t(i)

5、进行如下设置，是为了预防SQL Server使用太多内存，而导致死机

sp_configure ‘show advanced option‘,1
go
reconfigure
go
sp_configure ‘max server memory (MB)‘,3584
go
reconfigure
go

6、把上面创建的表t数据，复制成t1和t2两个表，对t1表建立索引

if exists(select * from sys.tables where name = ‘t1‘)
	drop table t1
go
 
select * into t1
from t
 
create index idx_t1_idx1 on t1(i)
go
 
 
if exists(select * from sys.tables where name = ‘t2‘)
	drop table t2
go
 
select * into t2
from t

7、对t1表进行删除操作，一次删除1000个数，每个数有64条，所以每次删除64000条。共删除1000次,所以删除640000条记录，总耗时82秒

dbcc dropcleanbuffers
go
 
declare @i int = 20000;
declare @start_time datetime;-- = getdate();
 
while @i <30000
begin
 
	set @start_time = GETDATE();
 
	delete from t1	where I>=@i  and i<=@i + 999
 
	set @i += 1000
	select DATEDIFF(second,@start_time,getdate())
 
end

8、删除t2表的数据，耗时44秒

delete from t2
where I>= 20000 and i<30000

通过上面的测试发现：

 

1、在大量插入操作时，在完成操作后再提交，比每次插入操作后马上就提交，效率要高。

 

2、在删除大量数据时，就算运用索引，甚至同时运用索引和分批操作，效率也不如不用索引，直接通过表扫描删除来的高。  

但表扫描的问题是会锁住整个表，阻塞其他事务，导致系统业务大面积瘫痪。

所以，虽然通过直接的删除方法会速度快，但如果通过索引和分批处理，那么只会锁定需要删除的一批数据，而其他的数据则不会锁定，那么导致的阻塞问题就小多了。

 

3、所以结合上面的2点，当大批量操作时，如果最后提交，那么整个操作效率更高，但是可能会导致阻塞的问题，因为不及时提交，会导致其他事务都被阻塞。

同样的，通过直接删除效率可能更高，但会锁表，会导致严重的阻塞问题，而通过索引和分批处理，虽然效率不是太高，但可以分批处理，相当于分批提交，而每一批都通过索引，只锁住需要处理的记录，而其他的记录都不会锁住，那么就不太会导致阻塞的问题。

所以，大批量的删除操作，如果通过全表扫描，适合在晚上系统比较空闲的维护时间内进行；而如果一定要在白天执行，那么可以考虑通过索引和分批处理，来减少阻塞的问题，但还是会对系统产生一定的影响，特别是内存方面。

• 点赞
• 收藏
• 分享
• • 文章举报

不想长大啊

发布了416 篇原创文章 · 获赞 135 · 访问量 94万+

他的留言板 关注