翻译:Data Pages and Data Rows

Posted zqhhp

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了翻译:Data Pages and Data Rows相关的知识,希望对你有一定的参考价值。

原文出自:《Pro SQL Server Internals, 2nd edition》CHAPTER 1 Data Storage Internals中的Data Pages and Data Rows一节(即P8~P14),Dmitri Korotkevitch,侵删

数据库中的空间分为逻辑8KB页面。 这些页面从零开始连续编号,可以通过指定文件ID和页码来引用它们。 页面编号始终是连续的,这样当SQL Server增长数据库文件时,新页面将从文件中的最高页码加1开始编号。 同样,当SQL Server收缩文件时,它会从文件中删除编号最大的页面。

SQL SERVER中的数据存储

一般来说,SQL Server存储和处理数据库中的数据有三种不同的方式或技术。 使用经典的基于行的存储,数据存储在数据行中,这些数据行将来自所有列的数据组合在一起。
SQL Server 2012引入了列存储索引和基于列的存储。 该技术以每列而不是每行存储数据。 我们将在本书的第七部分中介绍基于列的存储。
最后,SQL Server 2014中引入了一组内存技术,并在SQL Server 2016中得到了进一步改进。尽管它们将数据保留在磁盘上以实现冗余,但它们的存储格式与基于行和列的存储格式非常不同 存储。 我们将在本书的第八部分讨论内存中的技术。
本书的这一部分主要关注基于行的存储和经典的B-Tree索引和堆。

图1-6显示了数据页的结构。

技术分享图片

图1-6 数据页结构

一个96字节的页头(page header)包含有关页面的各种信息,例如页面所属的对象,页面上可用的行数和可用空间量,如果页面是在索引页链中,则指向上一页和下一页的链接,依此类推。

页头之后是存储实际数据的区域。 其次是自由空间(free space)。 最后,有一个插槽数组(slot array ),它是一个双字节条目块,指示相应数据行在页面上开始的偏移量。
插槽阵列指示页面上数据行的逻辑顺序。 如果页面上的数据需要按索引键的顺序排序,则SQL Server不会对页面上的数据行进行物理排序,而是根据索引排序顺序填充插槽数组。 插槽0(图1-6中最右侧)存储页面上具有最低键值的数据行的偏移量; 插槽1,第二低键值; 等等。 我们将在下一章更深入地讨论索引。

SQL Server提供了一组丰富的系统数据类型,可以在逻辑上分为两个不同的组:固定长度(fixed-length)和可变长度(variable-length)。 固定长度数据类型(如int,datetime,char等)始终使用相同数量的存储空间,无论其值如何,即使它为NULL也是如此。 例如,int列始终使用4个字节,nchar(10)列始终使用20个字节来存储信息。
  相比之下,可变长度数据类型(如varchar,varbinary和其他一些数据类型)使用存储数据所需的存储空间,以及两个额外字节。 例如,nvarchar(4000)列只使用12个字节来存储五个字符的字符串,在大多数情况下,两个字节用于存储NULL值。我们将讨论对于本章提到的可变长度列不为NULL使用存储空间的情况 。

让我们看一下数据行的结构,如图1-7所示。

技术分享图片

图1-7 数据行结构

该行的前两个字节(称为状态位A(Status Bits A)和状态位B(Status Bits B))是包含有关该行的信息的位图,例如行类型,该行是否已被逻辑删除(幻影(ghosted)),该行是否为NULL值,可变长度列和版本控制标记。
行中接下来的两个字节用于存储数据的固定长度(fixed-length)部分的长度。它们之后是固定长度的数据(fixed-length data)。
在固定长度数据部分之后,存在空位图(null bitmap),其包括两个不同的数据元素。第一个2字节元素是行中的列数(number of columns)。第二个是空位图数组(null bitmap array)。该数组对表的每一列使用一位,无论它是否可为空。
即使表没有可空列,空位图也始终存在于堆表或聚簇索引叶行的数据行中。但是,当索引中没有可为空的列时,空位图不存在于非叶索引行中,也不存在于非聚簇索引的叶级行中。
在空位图之后,存在该行的可变长度数据(variable-length data)部分。它从行中的两个字节数量的可变长度列(variable-length columns)开始,后跟可变长度列偏移数组(variable-length column offset array)。 SQL Server为行中的每个可变长度列存储两个偏移量值,即使该值为NULL也是如此。接下来是数据的实际可变长度部分。最后,在行的末尾有一个可选的14字节版本控制标记。此标记用于需要行版本控制的操作,例如联机索引重建,乐观隔离级别,触发器和其他一些操作。

注意 我们将在第6章讨论索引维护,第9章讨论触发器,以及在第21章讨论乐观隔离级别。

让我们创建一个表,用一些数据填充它,然后查看实际的行数据。 代码显示在1-4。 第一个参数提供的字符利用复制功能重复十次。

1-4 数据行格式:表创建

create table dbo.DataRows
(
ID int not null,
Col1 varchar(255) null,
Col2 varchar(255) null,
Col3 varchar(255) null
);
insert into dbo.DataRows(ID, Col1, Col3) values (1,replicate(‘a‘,10),replicate(‘c‘,10));
insert into dbo.DataRows(ID, Col2) values (2,replicate(‘b‘,10));
dbcc ind
(
‘SQLServerInternals‘ /*Database Name*/
,‘dbo.DataRows‘ /*Table Name*/
,-1 /*Display information for all pages of all indexes*/
);

  没有文档但很出名的DBCC IND命令返回有关表页分配的信息。 您可以在图1-8中看到此命令的输出。

技术分享图片

图1-8 DBCC IND输出

有两个属于该表的页面。 第一个,PageType = 10,是一种特殊类型的页面,称为IAM分配映射。 此页面跟踪属于特定对象的页面。 但是,现在不要关注它,因为我们将在本章后面介绍分配映射页面。

注意 SQL Server 2012引入了另一个未记录的数据管理功能(DMF)sys.dm_db_database_page_allocations,可用作DBCC IND命令的替代。 与DBCC IND相比,此DMF的输出提供了更多信息,并且可以与其他系统DMV和/或目录视图结合使用。

PageType = 1的页面是包含数据行的实际数据页面。 PageFID和PagePID列显示页面的实际文件和页码。 您可以使用另一个未记录的命令DBCC PAGE来检查其内容,如1-5所示。

1-5 数据行格式:DBCC PAGE调用

-- Redirecting DBCC PAGE output to console
dbcc traceon(3604);
dbcc page
(
‘SqlServerInternals‘ /*Database Name*/
,1 /*File ID*/
,214643 /*Page ID*/
,3 /*Output mode: 3 - display page header and row details */
);

  1-6显示了与第一个数据行对应的DBCC PAGE的输出。 SQL Server以字节交换顺序存储数据。 例如,两字节值0001将存储为0100。

1-6 第一行的DBCC PAGE输出

Slot 0 Offset 0x60 Length 39
Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS
Record Size = 39
Memory Dump @0x000000000EABA060
0000000000000000: 30000800 01000000 04000403 001d001d 00270061 0................‘.a
0000000000000014: 61616161 61616161 61636363 63636363 636363 aaaaaaaaacccccccccc
Slot 0 Column 1 Offset 0x4 Length 4 Length (physical) 4
ID = 1
Slot 0 Column 2 Offset 0x13 Length 10 Length (physical) 10
Col1 = aaaaaaaaaa
Slot 0 Column 3 Offset 0x0 Length 0 Length (physical) 0
Col2 = [NULL]
Slot 0 Column 4 Offset 0x1d Length 10 Length (physical) 10
Col3 = cccccccccc

  让我们更详细地看一下数据行,如图1-9所示。

 

图1-9 第一个数据行

如您所见,该行以两个状态位开始,后跟两个字节的值0800.这是字节交换的值0008,它是行中“列数”属性的偏移量。此偏移量告诉SQL Server行的固定长度数据部分(fixed-length data part)结束。
接下来的四个字节用于存储固定长度的数据,在我们的例子中是ID列。之后,有两个字节的值表明数据行有四列,后面跟着一个字节的NULL位图。只有四列,位图中的一个字节就足够了。它以二进制格式存储04的值00000100。它表示该行中的第三列包含NULL值。
接下来的两个字节存储行中可变长度列的数量,即3(0300以字节为单位)。它后面是一个偏移数组,其中每两个字节存储可变长度列数据结束的偏移量。如您所见,即使Col2为NULL,它仍然使用偏移数组(offset-array)中的槽。最后,存在来自可变长度列的实际数据。
现在,让我们看看第二个数据行。1-7显示了DBCC PAGE输出,图1-10显示了行数据。

技术分享图片

图1-10 第二个数据行数据

1-7 第二行的DBCC PAGE输出

Slot 1 Offset 0x87 Length 27
Record Type = PRIMARY_RECORD Record Attributes = NULL_BITMAP VARIABLE_COLUMNS
Record Size = 27
Memory Dump @0x000000000EABA087
0000000000000000: 30000800 02000000 04000a02 0011001b 00626262 0................bbb
0000000000000014: 62626262 626262 bbbbbbb
Slot 1 Column 1 Offset 0x4 Length 4 Length (physical) 4
ID = 2
Slot 1 Column 2 Offset 0x0 Length 0 Length (physical) 0
Col1 = [NULL]
Slot 1 Column 3 Offset 0x11 Length 10 Length (physical) 10
Col2 = bbbbbbbbbb
Slot 1 Column 4 Offset 0x0 Length 0 Length (physical) 0
Col3 = [NULL]

  第二行中的NULL位图表示二进制值00001010,表示Col1和Col3为NULL。 尽管该表具有三个可变长度列,但行中可变长度列的数量表示偏移数组中只有两个列/槽。 SQL Server不维护有关行中的尾随NULL可变长度列的信息。

提示 通过以可变长度列(通常存储空值)定义为CREATE TABLE语句中的最后一列的方式创建表,可以减小数据行的大小。 这是CREATE TABLE语句中唯一一种列的顺序很重要的情况。

固定长度数据和内部属性必须适合单个数据页面上可用的8,060字节。如果不是这样,SQL Server不允许您创建表。 例如,1-8中的代码会产生错误。

1-8 创建一个数据行大小超过8,060字节的表

create table dbo.BadTable
(
Col1 char(4000),
Col2 char(4060)
)
Msg 1701, Level 16, State 1, Line 1
Creating or altering table ‘BadTable‘ failed because the minimum row size would be 8,067,
including 7 bytes of internal overhead. This exceeds the maximum allowable table row size of
8,060 bytes.

  

 



















以上是关于翻译:Data Pages and Data Rows的主要内容,如果未能解决你的问题,请参考以下文章

(翻译内容)《Pro SQL Server Internals, 2nd edition》的CHAPTER 1 Data Storage Internals中的Data Pages and Data

《Pro SQL Server Internals, 2nd edition》的CHAPTER 1 Data Storage Internals中的Data Pages and Data Rows(翻

Python pandas 0.19.1 Indexing and Selecting Data文档翻译

翻译苹果官网的命名规范之 Naming Properties and Data Types

Keil 中的Code, RO-data , RW-data, ZI-data

Program Size: Code=7044 RO-data=268 RW-data=112 ZI-data=8736