设计和调整索引

Posted 2021-01-26 stanzhou47

设计和调整索引

　　无法定义可在任何地方使用的索引策略。每个系统都是独一无二的，需要基于工作负载，业务需求和其他一些因素的自己的索引方法。但是，有几个设计考虑因素和指南可以应用于每个系统。

　　当我们优化现有系统时也是如此。虽然优化是一个在每种情况下都是独特的迭代过程，但是有一组技术可用于检测每个数据库系统中的低效率。

在本章中，我们将介绍在设计新索引和优化现有系统时需要记住的几个重要因素。

 

聚集索引设计注意事项

　　每次更改聚簇索引键的值时，都会发生两件事。首先，SQL Server将行移动到聚簇索引页链和数据文件中的不同位置。其次，它更新了row-id，它是聚集索引键。存储了行id，需要在所有非聚簇索引中更新。就I / O而言，这可能是昂贵的，特别是在批量更新的情况下。此外，它可以增加聚簇索引的碎片，并且在行ID大小增加的情况下，可以增加非聚簇索引的碎片。因此，最好有一个静态聚簇索引，其中键值不会改变。

 　　所有非聚簇索引都使用聚簇索引键作为row-id。过宽的聚簇索引键会增加非聚簇索引行的大小，并且需要更多空间来存储它们。因此，SQL Server需要在索引或范围扫描操作期间处理更多数据页，这会降低索引的效率。

 　　在非唯一非聚簇索引的情况下，row-id也存储在非叶索引级别，这反过来会减少每页索引记录的数量，并可能导致索引中的额外中间级别。尽管非叶索引级别通常缓存在内存中，但每次SQL Server遍历非聚簇索引B-Tree时，这都会引入额外的逻辑读取。

 　　最后，较大的非聚簇索引在缓冲池中占用更多空间，并在索引维护期间引入更多开销。显然，不可能提供一个通用阈值来定义可应用于任何表的密钥的最大可接受大小。但是，作为一般规则，最好使用窄聚簇索引键，索引键尽可能小。

 　　将聚簇索引定义为唯一的也是有益的。这很重要的原因并不明显。考虑一种情况，其中表没有唯一的聚簇索引，并且您希望在执行计划中运行使用非聚簇索引查找的查询。在这种情况下，如果非聚簇索引中的row-id不是唯一的，则SQL Server将不知道在键查找操作期间要选择哪个聚簇索引行。

 　　SQL Server通过向非唯一聚簇索引添加另一个名为uniquifier的可空整数列来解决此类问题。对于第一次出现的键值，SQL Server使用NULL填充uniquifier，为插入表中的每个后续副本自动增加它。

 　　//**注意每个聚簇索引键值的可能重复项数量受整数域值的限制。 具有相同聚簇索引键的行不能超过2,147,483,648。 这是理论上的限制，创建具有如此差的选择性的索引显然是个坏主意。**//

 　　让我们看看非唯一聚簇索引中的uniquifiers引入的开销。 清单7-1中显示的代码创建了三个具有相同结构的不同表，并使用每个65,536行填充它们。 表dbo.UniqueCI是唯一定义了唯一聚簇索引的表。 表dbo.NonUniqueCINoDups没有任何重复的键值。 最后，表dbo.NonUniqueCDups在索引中有大量重复项。

 　清单7-1  非唯一聚簇索引：表创建

create  table  dbo.UniqueCI

 (

 KeyValue  int  not  null,

 ID  int  not  null,

 Data  char(986)  null,

 VarData  varchar(32)  not  null

 constraint  DEF_UniqueCI_VarData

 default  ‘Data‘

 );

 create unique clustered index IDX_UniqueCI_KeyValue on dbo.UniqueCI(KeyValue);

 create  table  dbo.NonUniqueCINoDups

 (

 KeyValue  int  not  null,

 ID  int  not  null,

 Data  char(986)  null,

 VarData  varchar(32)  not  null

 constraint  DEF_NonUniqueCINoDups_VarData

 default  ‘Data‘

 );

 create /*unique*/ clustered index IDX_NonUniqueCINoDups_KeyValue on dbo.NonUniqueCINoDups(KeyValue);

 create  table  dbo.NonUniqueCIDups

 (

 KeyValue  int  not  null,

 ID  int  not  null,

 Data  char(986)  null,

 VarData  varchar(32)  not  null

 constraint  DEF_NonUniqueCIDups_VarData

 default  ‘Data‘

 );

 create /*unique*/ clustered index IDX_NonUniqueCIDups_KeyValue on dbo.NonUniqueCIDups(KeyValue);

							CHAPTER 7 ■ DESIGNING AND TUNING THE INDEXES
--  Populating  data
;with  N1(C)  as  (select  0  union  all  select  0)					--  2  rows
,N2(C)  as  (select	0	from  N1  as  T1  cross  join			N1	as  T2)	--  4  rows
,N3(C)  as  (select	0	from  N2	as  T1	cross  join	N2	as  T2)	--  16  rows
,N4(C)  as  (select	0	from  N3	as  T1	cross  join	N3	as  T2)	--  256  rows
,N5(C)  as  (select	0	from  N4	as  T1	cross  join	N4	as  T2)	--  65,536  rows
,IDs(ID)  as  (select  row_number()  over  (order					by  (select  null))  from  N5)
insert  into  dbo.UniqueCI(KeyValue,  ID)
select  ID,  ID	from  IDs;

insert  into  dbo.NonUniqueCINoDups(KeyValue,  ID)

 select  KeyValue,  ID  from  dbo.UniqueCI;

 insert into dbo.NonUniqueCIDups(KeyValue, ID) select KeyValue % 10, ID from dbo.UniqueCI;

　　现在，让我们看一下每个表的聚簇索引的物理统计信息。 代码如清单7-2所示，结果如图7-1所示

清单7-2 非唯一聚簇索引：检查聚簇索引的行大小

 select index_level, page_count, min_record_size_in_bytes as [min row size] ,max_record_size_in_bytes as [max row size] ,avg_record_size_in_bytes as [avg row size]

 from

 　　sys.dm_db_index_physical_stats(db_id(),  object_id(N‘dbo.UniqueCI‘),  1,  null  ,‘DETAILED‘);

 select index_level, page_count, min_record_size_in_bytes as [min row size] ,max_record_size_in_bytes as [max row size] ,avg_record_size_in_bytes as [avg row size]

 from

　　sys.dm_db_index_physical_stats(db_id(), object_id(N‘dbo.NonUniqueCINoDups‘), 1, null ,‘DETAILED‘);

select index_level, page_count, min_record_size_in_bytes as [min row size] ,max_record_size_in_bytes as [max row size] ,avg_record_size_in_bytes as [avg row size]

 from

 　　sys.dm_db_index_physical_stats(db_id(), object_id(N‘dbo.NonUniqueCIDups‘), 1, null ,‘DETAILED‘);

 

 

 

图7-1 非唯一聚簇索引：聚簇索引的行大小

　　即使dbo.NonUniqueCINoDups表中没有重复的键值，仍然有两个额外的字节添加到该行。 SQL Server将一个uniquifier存储在数据的可变长度部分中，并且这两个字节由可变长度数据偏移数组中的另一个条目添加。

　　在这种情况下，当聚簇索引具有重复值时，uniquifiers会再添加另外四个字节，这会产生总共六个字节的开销。

 

　　值得一提的是，在某些边缘情况下，uniquifier使用的额外存储空间可以减少可以放入数据页面的行数。 我们的例子说明了这种情况。 如您所见，dbo.UniqueCI使用的数据页数比其他两个表少15％。

　　现在，让我们看看uniquifier如何影响非聚簇索引。 清单7-3中显示的代码在所有三个表中创建非聚簇索引。 图7-2显示了这些索引的物理统计信息。

　　清单7-3。 非唯一聚簇索引：检查非聚簇索引的行大小

create  nonclustered  index  IDX_UniqueCI_ID

on  dbo.UniqueCI(ID);

create nonclustered index IDX_NonUniqueCINoDups_ID on dbo.NonUniqueCINoDups(ID);

create nonclustered index IDX_NonUniqueCIDups_ID on dbo.NonUniqueCIDups(ID);

select index_level, page_count, min_record_size_in_bytes as [min row size] ,max_record_size_in_bytes as [max row size] ,avg_record_size_in_bytes as [avg row size]

from

sys.dm_db_index_physical_stats(db_id(), object_id(N‘dbo.UniqueCI‘), 2, null ,‘DETAILED‘);

select index_level, page_count, min_record_size_in_bytes as [min row size] ,max_record_size_in_bytes as [max row size] ,avg_record_size_in_bytes as [avg row size]

from

　　sys.dm_db_index_physical_stats(db_id(), object_id(N‘dbo.NonUniqueCINoDups‘), 2, null ,‘DETAILED‘);

select index_level, page_count, min_record_size_in_bytes as [min row size] ,max_record_size_in_bytes as [max row size] ,avg_record_size_in_bytes as [avg row size]

from

　　sys.dm_db_index_physical_stats(db_id(), object_id(N‘dbo.NonUniqueCIDups‘), 2, null ,‘DETAILED‘);

 

 

图7-2 非唯一聚簇索引：非聚簇索引的行大小

 　　dbo.NonUniqueCINoDups表中的非聚集索引没有开销。您可能还记得，SQL Server不会将偏移量信息存储在可变长度偏移数组中，以用于存储NULL数据的尾随列。尽管如此，uniquifier在dbo.NonUniqueCIDups表中引入了8个字节的开销。这八个字节由一个四字节的unquifier值，一个双字节的可变长度数据偏移数组条目和一个存储行中可变长度列数的双字节条目组成。

　　我们可以通过以下方式总结uniquifier的存储开销。对于具有uniquifier为NULL的行，如果索引至少有一个存储NOT NULL值的可变长度列，则会产生两个字节的开销。该开销来自uniquifier列的可变长度偏移数组条目。否则没有开销。

　　在填充uniquifier的情况下，如果存在存储NOT NULL值的可变长度列，则开销为六个字节。否则，开销是八个字节。

　　

 

//**提示 如果期望聚簇索引值中存在大量重复项，则可以将整数标识列作为索引的最右列添加，从而使其唯一。 与由uniquifiers引入的不可预测的高达8字节的存储开销相比，这为每一行增加了四字节可预测的存储开销。 当您通过其所有聚簇索引列引用该行时，这还可以提高单个查找操作的性能。**//

 

　　以最小化插入新行导致的索引碎片的方式设计聚簇索引是有益的。实现此目标的方法之一是使聚簇索引值不断增加。标识列上的索引就是一个这样的例子。另一个示例是使用插入时的当前系统时间填充的日期时间列。

　　然而，不断增加的指数存在两个潜在的问题。第一个涉及统计。正如您在第3章中学到的，当直方图中不存在参数值时，SQL Server中的遗留基数估计器会低估基数。您应该将此类行为纳入系统的统计信息维护策略，除非您使用新的SQL Server 2014-2016基数估算器，该估算器假定直方图之外的数据具有与表中其他数据类似的分布。

　　下一个问题更复杂。随着索引的不断增加，数据总是插入到索引的末尾。一方面，它可以防止页面拆分并减少碎片。另一方面，它可能导致热点，这是当多个会话试图修改相同数据页和/或分配新页面或范围时发生的序列化延迟。 SQL Server不允许多个会话更新相同的数据结构，而是序列化这些操作。

　　除非系统以非常高的速率收集数据并且索引每秒处理数百个插入，否则热点通常不是问题。我们将在第27章“系统故障排除”中讨论如何检测此类问题。

　　最后，如果系统具有一组经常执行且重要的查询，则考虑聚合索引可能是有益的，聚簇索引会优化它们。这消除了昂贵的密钥查找操作并提高了系统的性能。

　　即使可以使用覆盖非聚簇索引来优化此类查询，但它并不总是理想的解决方案。在某些情况下，它需要您创建非常宽的非聚簇索引，这将占用磁盘和缓冲池中的大量存储空间。

　　另一个重要因素是修改列的频率。将经常修改的列添加到非聚簇索引需要SQL Server在多个位置更改数据，这会对系统的更新性能产生负面影响并增加阻塞。

　　尽管如此，并不总是能够设计满足所有这些准则的聚簇索引。此外，您不应将这些指南视为绝对要求。您应该分析系统，业务需求，工作负载和查询，并选择有益于您的聚簇索引，即使它们违反了某些准则。

 

身份，序列和唯一标识符

　　人们通常选择身份，序列和唯一标识符作为聚簇索引键。 与往常一样，这种方法有其自身的优缺点。

　　在此类列上定义的聚簇索引是唯一的，静态的和窄的。 此外，身份和序列不断增加，这减少了索引碎片。 其中一个理想的用例是目录实体表。 作为示例，您可以考虑存储客户，文章或设备列表的表。 这些表存储了数千甚至数百万行，尽管数据相对静态，因此热点不是问题。 此外，这些表通常由外键引用并用于连接。 integer或bigint列上的索引非常紧凑和高效，这将提高查询的性能。

 

//**注意 我们将在第8章“约束”中更详细地讨论外键约束。**//

 

　　在事务表的情况下，身份或序列列上的聚簇索引效率较低，事务表由于它们引入的潜在热点而以非常高的速率收集大量数据。

　　另一方面，Uniqueidentifiers很少是集群和非集群索引的理想选择。 使用NEWID（）函数生成的随机值极大地增加了索引碎片。 此外，uniqueidentifiers上的索引会降低批处理操作的性能。 让我们看一个示例并创建两个表：一个表在标识列上有聚簇索引，另一个在uniqueidentifier列上有聚簇索引。 在下一步中，我们将在两个表中插入65,536行。 您可以在清单7-4中看到执行此操作的代码。

清单7-4。 Uniqueidentifiers：表创建

create  table  dbo.IdentityCI

(

ID  int  not  null  identity(1,1),

Val  int  not  null,

Placeholder  char(100)  null

);

create unique clustered index IDX_IdentityCI_ID on dbo.IdentityCI(ID);

create  table  dbo.UniqueidentifierCI

(

ID  uniqueidentifier  not  null

constraint  DEF_UniqueidentifierCI_ID

default  newid(),

Val  int  not  null,

Placeholder  char(100)  null,

);

create unique clustered index IDX_UniqueidentifierCI_ID on dbo.UniqueidentifierCI(ID) go;with  N1(C)  as  (select  0  union  all  select  0)  --  2  rows,N2(C) as (select 0 from N1 as T1 cross join N1 as T2) -- 4 rows ,N3(C) as (select 0 from N2 as T1 cross join N2 as T2) -- 16 rows ,N4(C) as (select 0 from N3 as T1 cross join N3 as T2) -- 256 rows ,N5(C) as (select 0 from N4 as T1 cross join N4 as T2) -- 65,536 rows ,IDs(ID) as (select row_number() over (order by (select null)) from N5) insert into dbo.IdentityCI(Val)

select  ID  from  IDs;

;with  N1(C)  as  (select  0  union  all  select  0)  --  2  rows,N2(C) as (select 0 from N1 as T1 cross join N1 as T2) -- 4 rows ,N3(C) as (select 0 from N2 as T1 cross join N2 as T2) -- 16 rows ,N4(C) as (select 0 from N3 as T1 cross join N3 as T2) -- 256 rows ,N5(C) as (select 0 from N4 as T1 cross join N4 as T2) -- 65,536 rows ,IDs(ID) as (select row_number() over (order by (select null)) from N5) insert into dbo.UniqueidentifierCI(Val)

select  ID  from  IDs;

　　我的计算机上的执行时间和读取次数如表7-1所示。 图7-3显示了两个查询的执行计划。

表7-1。 将数据插入表：执行统计

	Number of Reads	Execution Time (ms)
Identity	158,438	173 ms
Uniqueidentifier	181,879	256 ms

 

 

 

 

图7-3 将数据插入表中：执行计划

　　如您所见，uniqueidentifier列上的索引有另一个排序运算符。 SQL Server在插入之前对随机生成的uniqueidentifier值进行排序，这会降低查询的性能。

　　让我们在表中插入另一批行并检查索引碎片。 执行此操作的代码如清单7-5所示。 图7-4显示了查询的结果。

清单7-5。 Uniqueidentifiers：插入行并检查碎片

;with  N1(C)  as  (select  0  union  all  select  0)  --  2  rows

,N2(C) as (select 0 from N1 as T1 cross join N1 as T2) -- 4 rows ,N3(C) as (select 0 from N2 as T1 cross join N2 as T2) -- 16 rows ,N4(C) as (select 0 from N3 as T1 cross join N3 as T2) -- 256 rows ,N5(C) as (select 0 from N4 as T1 cross join N4 as T2) -- 65,536 rows ,IDs(ID) as (select row_number() over (order by (select null)) from N5) insert into dbo.IdentityCI(Val)

select  ID  from  IDs;

;with  N1(C)  as  (select  0  union  all  select  0)  --  2  rows,N2(C) as (select 0 from N1 as T1 cross join N1 as T2) -- 4 rows ,N3(C) as (select 0 from N2 as T1 cross join N2 as T2) -- 16 rows ,N4(C) as (select 0 from N3 as T1 cross join N3 as T2) -- 256 rows ,N5(C) as (select 0 from N4 as T1 cross join N4 as T2) -- 65,536 rows ,IDs(ID) as (select row_number() over (order by (select null)) from N5)

insert  into  dbo.UniqueidentifierCI(Val)

select  ID  from  IDs;

select  page_count,  avg_page_space_used_in_percent,  avg_fragmentation_in_percent

from  sys.dm_db_index_physical_stats(db_id(),object_id(N‘dbo.IdentityCI‘),1,null,‘DETAILED‘);

select  page_count,  avg_page_space_used_in_percent,  avg_fragmentation_in_percent

from sys.dm_db_index_physical_stats(db_id(),object_id(N‘dbo.UniqueidentifierCI‘),1,null ,‘DETAILED‘);

 

图7-4 索引碎片

　　如您所见，uniqueidentifier列上的索引严重碎片化，与标识列上的索引相比，它使用的数据页数大约多40％。

　　在uniqueidentifier列的索引中的批量插入会在数据文件的不同位置插入数据，这会导致在大型表的情况下出现繁重的随机物理I / O. 这可能会显着降低操作性能。

 

个人经验

　　　　//** 前段时间，我参与了一个系统的优化，该系统具有250 GB的表，其中包含一个聚簇索引和三个非聚簇索引。 其中一个非聚簇索引是uniqueidentifier列上的索引。 通过删除此索引，我们能够将50,000行的批量插入从45秒加速到7秒。**//

 

　　当您想要在uniqueidentifier列上创建索引时，有两种常见用例。第一个是支持跨多个数据库的值的唯一性。想想可以将行插入每个数据库的分布式系统。开发人员经常使用uniqueidentifiers来确保每个键值在系统范围内都是唯一的。

　　此类实现中的关键元素是如何生成键值。正如您已经看到的，使用NEWID（）函数或客户端代码生成的随机值会对系统性能产生负面影响。但是，您可以使用NEWSEQUENTIALID（）函数，该函数生成唯一且通常不断增加的值（SQL Server会不时重置其基值）。使用NEWSEQUENTIALID（）函数生成的uniqueidentifier列的索引类似于identity和sequence列的索引;但是，您应该记住，uniqueidentifier数据类型使用16字节的存储空间，而4字节的int或8字节的bigint数据类型。

　　作为替代解决方案，您可以考虑创建具有两列（InstallationId，Unique_Id_Within_Installation）的复合索引。这两列的组合保证了多个安装和数据库的唯一性，并且比独特标识符使用更少的存储空间。您可以使用整数标识或序列来生成Unique_Id_Within_Installation值，这将减少索引的碎片。

　　如果需要在数据库中的所有实体上生成唯一键值，则可以考虑在所有实体中使用单个序列对象。此方法满足要求，但使用比uniqueidentifier更小的数据类型。

　　另一个常见用例是安全性，其中uniqueidentifier值用作安全性令牌或随机对象ID。不幸的是，您无法在此方案中使用NEWSEQUENTIALID（）函数，因为可以猜测该函数返回的下一个值。

　　在这种情况下，一种可能的改进是使用CHECKSUM（）函数创建计算列，然后对其进行索引，而不在uniqueidentifier列上创建索引。代码如清单7-6所示。

清单7-6 使用CHECKSUM（）：表结构

create  table  dbo.Articles

(

ArticleId  int  not  null  identity(1,1),

ExternalId  uniqueidentifier  not  null

constraint  DEF_Articles_ExternalId

default  newid(),

ExternalIdCheckSum  as  checksum(ExternalId),

/*  Other  Columns  */

);

create unique clustered index IDX_Articles_ArticleId on dbo.Articles(ArticleId);

create nonclustered index IDX_Articles_ExternalIdCheckSum on dbo.Articles(ExternalIdCheckSum);

　　//**提示 您可以索引计算列而不保留它。**//

　　尽管IDX_Articles_ExternalIdCheckSum索引将严重分段，但与uniqueidentifier列上的索引（4字节密钥与16字节）相比，它将更紧凑。 它还提高了批处理操作的性能，因为更快的排序，这也需要更少的内存来进行。

您必须记住的一件事是CHECKSUM（）函数的结果不保证是唯一的。 您应该在查询中包含两个谓词，如清单7-7所示。

清单7-7 使用CHECKSUM（）：选择数据

select  ArticleId  /*  Other  Columns  */

from  dbo.Articles

where  checksum(@ExternalId)  =  ExternalIdCheckSum  and  ExternalId  =  @ExternalId

　　//**提示 如果需要索引大于900 / 1,700字节的字符串列（这是非聚簇索引键的最大大小），则可以使用相同的技术。 即使这样的索引不支持范围扫描操作，它也可以用于点查找。**//

 

                                                                                                                                                                                                        本文章翻译来自--Dmitri Korotkevitch