并发问题：大数据量的訪问

Posted 2020-09-14 lxjshuju

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了并发问题：大数据量的訪问相关的知识，希望对你有一定的参考价值。

今天突然关注到这个问题，从网上看了非常多，受益良多。记录下来，以后回想~

之前在工作中就遇到过这样的情况。两个用户同一时候操作一条记录，A用户查询某条记录，B用户把这条记录删除，A用户将查询的某条记录的某些值保存到其它的表里。这个bug也是困扰了好久，由于A用户的这种方法特别复杂，运行的时间比較长，所以这个问题出现的概率还非常高的呢。后来的解决方法是，A用户在最后保存前，再查一下这条记录。是从代码逻辑方面解决的这个问题，确实好了非常多，但始终认为是治标不治本。

今天看完以后认为有更好的解决方法的呢。

part1:

大并发大数据量请求通常会分为几种情况：

1.大量的用户同一时候对系统的不同功能页面进行查找，更新操作

2.大量的用户同一时候对系统的同一个页面，同一个表的大数据量进行查询操作

3.大量的用户同一时候对系统的同一个页面。同一个表进行更新操作

对于第一种情况一般处理方法例如以下：

一。对server层面的处理

1. 调整IIS 7应用程序池队列长度

由原来的默认1000改为65535。

IIS Manager > ApplicationPools > Advanced Settings

Queue Length : 65535

2. 调整IIS 7的appConcurrentRequestLimit设置

由原来的默认5000改为100000。

c:\windows\system32\inetsrv\appcmd.exe set config /section:serverRuntime /appConcurrentRequestLimit:100000

在%systemroot%\System32\inetsrv\config\applicationHost.config中能够查看到该设置：

[html]view
 plaincopy

<serverRuntime appConcurrentRequestLimit="100000" />   

3. 调整machine.config中的processModel>requestQueueLimit的设置

由原来的默认5000改为100000。

[html]view
 plaincopy

<configuration>  

    <system.web>  

        <processModel requestQueueLimit="100000"/>   

4. 改动注冊表，调整IIS 7支持的同一时候TCPIP连接数

由原来的默认5000改为100000。

reg add HKLM\System\CurrentControlSet\Services\HTTP\Parameteris /v MaxConnections /t REG_DWORD /d 100000

完毕上述4个设置，就基本能够支持10万个同一时候请求。假设訪问量达到10万以上。就能够考虑将程序和数据库按功能模块划分部署到多个server分担訪问压力。另外能够考虑软硬件负载均衡。硬件负载均衡能够直接通过智能交换机实现，处理能力强。并且与系统无关。可是价格贵,配置困难。不能区分实习系统与应状态。

所以硬件负载均衡适用于一大堆设备，大訪问量，简单应用。软件负载均衡是基于系统与应用的，能过更好地依据系统与应用的状况来分配负载。

性价比高。

PCL负载均衡软件，Linux下的LVS软件。

二。

对数据库层面的处理

当两个用户同一时候訪问一个页面，一个用户可能更新的是还有一个用户已经删除的记录。

或者，在一个用户载入页面跟他点击删除button之间的时间里。还有一个用户改动了这条记录的内容。所以须要考虑数据库锁的问题

有以下三中并发控制策略可供选择：

? 什么都不做 –假设并发用户改动的是同一条记录，让最后提交的结果生效（默认的行为）

? 开放式并发（Optimistic Concurrency） - 假定并发冲突不过偶尔发生，绝大多数的时候并不会出现；那么，当发生一个冲突时，只简单的告知用户，他所作的更改不能保存，由于别的用户已经改动了同一条记录

? 保守式并发（Pessimistic Concurrency） – 假定并发冲突常常发生，而且用户不能容忍被告知自己的改动不能保存是因为别人的并发行为；那么，当一个用户開始编辑一条记录，锁定该记录。从而防止其它用户编辑或删除该记录，直到他完毕并提交自己的更改

当多个用户试图同一时候改动数据时，须要建立控制机制来防止一个用户的改动对同一时候操作的其它用户所作的改动产生不利的影响。处理这样的情况的系统叫做“并发控制”。

并发控制的类型

通常，管理数据库中的并发有三种常见的方法：

保守式并发控制 - 在从获取记录直到记录在数据库中更新的这段时间内，该行对用户不可用。
开放式并发控制 - 仅仅有当实际更新数据时，该行才对其它用户不可用。更新将在数据库中检查该行并确定是否进行了不论什么更改。假设试图更新已更改的记录。则将导致并发冲突。
最后的更新生效 - 仅仅有当实际更新数据时。该行才对其它用户不可用。可是，不会将更新与初始记录进行比較。而仅仅是写出记录，这可能就改写了自上次刷新记录后其它用户所进行的更改。

保守式并发

保守式并发通经常使用于两个目的。第一，在某些情况下，存在对同样记录的大量争用。

在数据上放置锁所费的成本小于发生并发冲突时回滚更改所费的成本。

在事务过程中不宜更改记录的情况下，保守式并发也非常实用。库存应用程序便是一个非常好的演示样例。假定有一个公司代表正在为一名潜在的客户检查库存。您通常要锁定记录，直到生成订单为止，这一般会将该项标记为“已订购”状态并将其从可用库存中移除。假设未生成订单，则将释放该锁，以便其它检查库存的用户得到准确的可用库存计数。

可是，在断开的结构中无法进行保守式并发控制。连接打开的时间仅仅够读取数据或更新数据。因此不能长时间地保持锁。

此外，长时间保留锁的应用程序将无法进行伸缩。

开放式并发

在开放式并发中。仅仅有在訪问数据库时才设置并保持锁。这些锁将防止其它用户在同一时间更新记录。除了进行更新这一确切的时刻之外，数据始终可用。有关很多其它信息。请參见开放式并发。

当试图更新时，已更改行的初始版本号将与数据库中的现有行进行比較。

假设两者不同，更新将失败。并引发并发错误。

这时。将由您使用所创建的业务逻辑来协调这两行。

最后的更新生效

当使用“最后的更新生效”时。不会对初始数据进行检查。而仅仅是将更新写入数据库。非常明显，可能会发生下面情况：

用户 A 从数据库获取一项记录。
用户 B 从数据库获取同样的记录。对其进行改动，然后将更新后的记录写回数据库。
用户 A 改动“旧”记录并将其写回数据库。

在上述情况中。用户 A 永远也不会看到用户 B 作出的更改。假设您计划使用并发控制的“最后的更新生效”方法，则要确保这样的情况是能够接受的。

ADO.NET 和 Visual Studio .NET 中的并发控制

由于数据结构基于断开的数据。所以 ADO.NET 和 Visual Studio .NET 使用开放式并发。因此。您须要加入业务逻辑，以利用开放式并发解决这个问题。

假设您选择使用开放式并发，则能够通过两种常规的方法来确定是否已发生更改：版本号方法（实际版本号号或日期时间戳）和保存全部值方法。

版本方法

在版本方法中。要更新的记录必须具有一个包括日期时间戳或版本的列。当读取该记录时，日期时间戳或版本将保存在client。然后。将对该值进行部分更新。

处理并发的一种方法是仅当 WHERE 子句中的值与记录上的值匹配时才进行更新。该方法的 SQL 表示形式为：

UPDATE Table1 SET Column1 = @newvalue1, Column2 = @newvalue2
WHERE DateTimeStamp = @origDateTimeStamp

或者，能够使用版本进行比較：

UPDATE Table1 SET Column1 = @newvalue1, Column2 = @newvalue2
WHERE RowVersion = @origRowVersionValue

假设日期时间戳或版本匹配，则表明数据存储区中的记录未被更改。而且能够安全地使用数据集中的新值对该记录进行更新。假设不匹配，则将返回错误。您能够编写代码，在 Visual Studio .NET 中实现这样的形式的并发检查。您还必须编写代码来响应不论什么更新冲突。

为了确保日期时间戳或版本的准确性，您须要在表上设置触发器。以便在发生对行的更改时，对日期时间戳或版本进行更新。

保存全部值方法

使用日期时间戳或版本号号的替代方法是在读取记录时获取全部字段的副本。ADO.NET 中的 DataSet 对象维护每一个改动记录的两个版本号：初始版本号（最初从数据源中读取的版本号）和改动版本号（表示用户更新）。当试图将记录写回数据源时，数据行中的初始值将与数据源中的记录进行比較。假设它们匹配。则表明数据库记录在被读取后尚未经过更改。

在这样的情况下，数据集中已更改的值将成功地写入数据库。

对于数据适配器的四个命令（DELETE、INSERT、SELECT 和 UPDATE）来说，每一个命令都有一个參数集合。每一个命令都实用于初始值和当前值（或改动值）的參数。

对于另外一种情况的处理：

由于是大并发请求，也能採用第一种情况的处理方法，另外由于是对大数据量进行检索。所以须要考虑查询效率的问题

1.对表按查询条件建立索引

2.对查询语句进行优化

3.能够考虑对查询数据使用缓存

对于第三种情况的处理：

也能採用第一种情况的处理方法，另外由于是对同一个表进行更新操作，能够考虑使用以下的处理方法：

1.先将数据保存到缓存中，当数据达到一定的数量后，再更新到数据库中

2.将表按索引划分(分表，分区)，如：对于一个存储全国人民信息的表。这个数据量是非常大的，假设按省划分为多个表，在将全国的人民信息按省存储到对应的表中，然后依据省份对对应的并进行查询和更新，这样大并发和大数据量的问题就会减小非常多

part2:

怎样处理大量数据并发操作

文件缓存。数据库缓存，优化sql,数据分流,数据库表的横向和纵向划分。优化代码结构！

锁述的概

一. 为什么要引入锁

多个用户同一时候对数据库的并发操作时会带来下面数据不一致的问题:

丢失更新

A,B两个用户读同一数据并进行改动,当中一个用户的改动结果破坏了还有一个改动的结果,比方订票系统

脏读

A用户改动了数据,随后B用户又读出该数据,但A用户由于某些原因取消了对数据的改动,数据恢复原值,此时B得到的数据就与数据库内的数据产生了不一致

不可反复读

A用户读取数据,随后B用户读出该数据并改动,此时A用户再读取数据时发现前后两次的值不一致

并发控制的主要方法是封锁,锁就是在一段时间内禁止用户做某些操作以避免产生数据不一致

二锁的分类

锁的类别有两种分法：

1. 从数据库系统的角度来看：分为独占锁（即排它锁），共享锁和更新锁

MS-SQL Server 使用下面资源锁模式。

锁模式描写叙述

共享 (S) 用于不更改或不更新数据的操作（仅仅读操作），如 SELECT 语句。

更新 (U) 用于可更新的资源中。防止当多个会话在读取、锁定以及随后可能进行的资源更新时发生常见形式的死锁。

排它 (X) 用于数据改动操作。比如 INSERT、UPDATE 或 DELETE。确保不会同一时候同一资源进行多重更新。

意向锁用于建立锁的层次结构。意向锁的类型为：意向共享 (IS)、意向排它 (IX) 以及与意向排它共享 (SIX)。

架构锁在运行依赖于表架构的操作时使用。架构锁的类型为：架构改动 (Sch-M) 和架构稳定性 (Sch-S)。

大容量更新 (BU) 向表中大容量复制数据并指定了 TABLOCK 提示时使用。

共享锁

共享 (S) 锁同意并发事务读取 (SELECT) 一个资源。资源上存在共享 (S) 锁时。不论什么其他事务都不能改动数据。

一旦已经读取数据，便马上释放资源上的共享 (S) 锁。除非将事务隔离级别设置为可反复读或更高级别。或者在事务生存周期内用锁定提示保留共享 (S) 锁。

更新锁

更新 (U) 锁能够防止通常形式的死锁。一般更新模式由一个事务组成。此事务读取记录，获取资源（页或行）的共享 (S) 锁。然后改动行，此操作要求锁转换为排它 (X) 锁。假设两个事务获得了资源上的共享模式锁，然后试图同一时候更新数据，则一个事务尝试将锁转换为排它 (X) 锁。共享模式到排它锁的转换必须等待一段时间。由于一个事务的排它锁与其他事务的共享模式锁不兼容；发生锁等待。

第二个事务试图获取排它 (X) 锁以进行更新。

由于两个事务都要转换为排它 (X) 锁，而且每一个事务都等待还有一个事务释放共享模式锁，因此发生死锁。

若要避免这样的潜在的死锁问题，请使用更新 (U) 锁。

一次仅仅有一个事务能够获得资源的更新 (U) 锁。假设事务改动资源，则更新 (U) 锁转换为排它 (X) 锁。

否则，锁转换为共享锁。

排它锁

排它 (X) 锁能够防止并发事务对资源进行訪问。其他事务不能读取或改动排它 (X) 锁锁定的数据。

意向锁

意向锁表示 SQL Server 须要在层次结构中的某些底层资源上获取共享 (S) 锁或排它 (X) 锁。

比如。放置在表级的共享意向锁表示事务打算在表中的页或行上放置共享 (S) 锁。

在表级设置意向锁可防止还有一个事务随后在包括那一页的表上获取排它 (X) 锁。意向锁能够提高性能，由于 SQL Server 仅在表级检查意向锁来确定事务能否够安全地获取该表上的锁。而无须检查表中的每行或每页上的锁以确定事务能否够锁定整个表。

意向锁包含意向共享 (IS)、意向排它 (IX) 以及与意向排它共享 (SIX)。

锁模式描写叙述

意向共享 (IS) 通过在各资源上放置 S 锁，表明事务的意向是读取层次结构中的部分（而不是所有）底层资源。

意向排它 (IX) 通过在各资源上放置 X 锁，表明事务的意向是改动层次结构中的部分（而不是所有）底层资源。IX 是 IS 的超集。

与意向排它共享 (SIX) 通过在各资源上放置 IX 锁。表明事务的意向是读取层次结构中的所有底层资源并改动部分（而不是所有）底层资源。同意顶层资源上的并发 IS 锁。比如，表的 SIX 锁在表上放置一个 SIX 锁（同意并发 IS 锁），在当前所改动页上放置 IX 锁（在已改动行上放置 X 锁）。尽管每一个资源在一段时间内仅仅能有一个 SIX 锁，以防止其他事务对资源进行更新。可是其他事务能够通过获取表级的 IS 锁来读取层次结构中的底层资源。

独占锁：仅仅同意进行锁定操作的程序使用。其它不论什么对他的操作均不会被接受。运行数据更新命令时。SQL Server会自己主动使用独占锁。当对象上有其它锁存在时，无法对其加独占锁。

共享锁：共享锁锁定的资源能够被其它用户读取，但其它用户无法改动它。在运行Select时，SQL Server会对对象加共享锁。

更新锁：当SQL Server准备更新数据时，它首先对数据对象作更新锁锁定，这样数据将不能被改动，但能够读取。

等到SQL Server确定要进行更新数据操作时，他会自己主动将更新锁换为独占锁，当对象上有其它锁存在时，无法对其加更新锁。

2. 从程序猿的角度看：分为乐观锁和悲观锁。

乐观锁：全然依靠数据库来管理锁的工作。

悲观锁：程序猿自己管理数据或对象上的锁处理。

MS-SQLSERVER 使用锁在多个同一时候在数据库内运行改动的用户间实现悲观并发控制

三锁的粒度

锁粒度是被封锁目标的大小,封锁粒度小则并发性高,但开销大,封锁粒度大则并发性低但开销小

SQL Server支持的锁粒度能够分为为行、页、键、键范围、索引、表或数据库获取锁

资源描写叙述

RID 行标识符。用于单独锁定表中的一行。

键索引中的行锁。用于保护可串行事务中的键范围。

页 8 千字节 (KB) 的数据页或索引页。

扩展盘区相邻的八个数据页或索引页构成的一组。

表包含全部数据和索引在内的整个表。

DB 数据库。

四锁定时间的长短

锁保持的时间长度为保护所请求级别上的资源所需的时间长度。

用于保护读取操作的共享锁的保持时间取决于事务隔离级别。採用 READ COMMITTED 的默认事务隔离级别时。仅仅在读取页的期间内控制共享锁。在扫描中。直到在扫描内的下一页上获取锁时才释放锁。假设指定 HOLDLOCK 提示或者将事务隔离级别设置为 REPEATABLE READ 或 SERIALIZABLE。则直到事务结束才释放锁。

依据为游标设置的并发选项，游标能够获取共享模式的滚动锁以保护提取。

当须要滚动锁时，直到下一次提取或关闭游标（以先发生者为准）时才释放滚动锁。

可是。假设指定 HOLDLOCK，则直到事务结束才释放滚动锁。

用于保护更新的排它锁将直到事务结束才释放。

假设一个连接试图获取一个锁，而该锁与还有一个连接所控制的锁冲突，则试图获取锁的连接将一直堵塞到：

将冲突锁释放并且连接获取了所请求的锁。

连接的超时间隔已到期。默认情况下没有超时间隔。可是一些应用程序设置超时间隔以防止无限期等待

五 SQL Server 中锁的自己定义

1 处理死锁和设置死锁优先级

死锁就是多个用户申请不同封锁,因为申请者均拥有一部分封锁权而又等待其它用户拥有的部分封锁而引起的无休止的等待

能够使用SET DEADLOCK_PRIORITY控制在发生死锁情况时会话的反应方式。假设两个进程都锁定数据，而且直到其他进程释放自己的锁时，每一个进程才干释放自己的锁。即发生死锁情况。

2 处理超时和设置锁超时持续时间。

@@LOCK_TIMEOUT 返回当前会话的当前锁超时设置，单位为毫秒

SET LOCK_TIMEOUT 设置同意应用程序设置语句等待堵塞资源的最长时间。当语句等待的时间大于 LOCK_TIMEOUT 设置时，系统将自己主动取消堵塞的语句，并给应用程序返回”已超过了锁请求超时时段”的 1222 号错误信息

演示样例

下例将锁超时期限设置为 1,800 毫秒。

SET LOCK_TIMEOUT 1800

3) 设置事务隔离级别。

4 ) 对 SELECT、INSERT、UPDATE 和 DELETE 语句使用表级锁定提示。

5) 配置索引的锁定粒度

能够使用 sp_indexoption 系统存储过程来设置用于索引的锁定粒度

六查看锁的信息

1 运行 EXEC SP_LOCK 报告有关锁的信息

2 查询分析器中按Ctrl+2能够看到锁的信息

七使用注意事项

怎样避免死锁

1 使用事务时，尽量缩短事务的逻辑处理过程，及早提交或回滚事务；

2 设置死锁超时參数为合理范围，如：3分钟-10分种。超过时间，自己主动放弃本次操作。避免进程悬挂；

3 优化程序，检查并避免死锁现象出现；

4 .对全部的脚本和SP都要细致測试。在正是版本号之前。

5 全部的SP都要有错误处理（通过@error）

6 一般不要改动SQL SERVER事务的默认级别。不推荐强行加锁

解决这个问题怎样对行表数据库加锁

八几个有关锁的问题

1
 怎样锁一个表的某一行

SET

TRANSACTION 
ISOLATION 
LEVEL 
READ 
UNCOMMITTED

SELECT

* FROM

table 
ROWLOCK WHERE

id = 1

2
 锁定数据库的一个表

SELECT

* FROM

table 
WITH 
(HOLDLOCK)

加锁语句：

sybase:

update

表 set

col1=col1 where

1=0 ;

MSSQL:

select

col1 from

表 (tablockx) where

1=0 ;

oracle:

LOCK
TABLE

表 IN

EXCLUSIVE MODE ；

加锁后其他人不可操作，直到加锁用户解锁。用commit或rollback解锁

几个样例帮助大家加深印象

设table1(A,B,C)

A B C

a1 b1 c1

a2 b2 c2

a3 b3 c3

1）排它锁

新建两个连接

在第一个连接中运行下面语句

begin

tran

update

table1

set

A=’aa’

where

B=’b2′

waitfor
 delay ’00:00:30′ –等待30秒

commit

tran

在第二个连接中运行下面语句

begin

tran

select

* from

table1

where

B=’b2′

commit

tran

若同一时候运行上述两个语句。则select查询必须等待update运行完成才干运行即要等待30秒

2）共享锁

在第一个连接中运行下面语句

begin

tran

select

* from

table1 holdlock -holdlock人为加锁

where

B=’b2′

waitfor
 delay ’00:00:30′ –等待30秒

commit

tran

在第二个连接中运行下面语句

begin

tran

select

A,C from

table1

where

B=’b2′

update

table1

set

A=’aa’

where

B=’b2′

commit

tran

若同一时候运行上述两个语句。则第二个连接中的select查询能够运行

而update必须等待第一个事务释放共享锁转为排它锁后才干运行即要等待30秒

3）死锁

增设table2(D,E)

D
 E

d1
 e1

d2
 e2

在第一个连接中运行下面语句

begin

tran

update

table1

set

A=’aa’

where

B=’b2′

waitfor
 delay ’00:00:30′

update

table2

set

D=’d5′

where

E=’e1′

commit

tran

在第二个连接中运行下面语句

begin

tran

update

table2

set

D=’d5′

where

E=’e1′

waitfor
 delay ’00:00:10′

update

table1

set

A=’aa’

where

B=’b2′

commit

tran