数据库的负载均衡

Posted Leo_wlCnBlogs

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据库的负载均衡相关的知识,希望对你有一定的参考价值。

相关下载:

数据库的负载均衡-示例代码(dp1-DbBalance.rar)

数据库的负载均衡-示例代码(dp1-DbBalance.rar)

支持.Net/.Net Core/.Net Framework

为了演示数据库的负载均衡(Load Balance),我们先创建三个数据库,它们的名字分别为YZZ、YZZ1、YZZ2。然后在这三个数据库中分别创建表t_Student,这些表的结构一样,内容稍有差异,见下图:

YZZ中t_Student的内容

---------------------

Id  Name  Age

1   张安   25

2   王鑫   22

3   周云   20

YZZ1中t_Student的内容

---------------------

Id  Name  Age

1   张安1  25

2   王鑫1  22

3   周云1  20

YZZ2中t_Student的内容

---------------------

Id  Name  Age

1   张安2  25

2   王鑫2  22

3   周云2  20

 

然后,我们在ds.xml这个配置文件中设置如上三个数据源的负载均衡策略,文件内容如下:

<?xml version="1.0" encoding="utf-8" ?>
<DeveloperSharp>
    <DatabaseClusterList>
        <DatabaseCluster Id="StudentData">
            <Database Id="A1" Enable="true" Weight="100" DatabaseType="SqlServer" ConnectionString="Server=localhost;Database=YZZ;Uid=sa;Pwd=123"/>
            <Database Id="A2" Enable="true" Weight="100" DatabaseType="SqlServer" ConnectionString="Server=localhost;Database=YZZ1;Uid=sa;Pwd=123"/>
            <Database Id="A3" Enable="true" Weight="100" DatabaseType="SqlServer" ConnectionString="Server=localhost;Database=YZZ2;Uid=sa;Pwd=123"/>
        </DatabaseCluster>
    </DatabaseClusterList> 
</DeveloperSharp>

 

对此xml配置文件说明如下:

(1)     每一个DatabaseCluster节点代表了一组数据库,此节点的Id值(本文示例值是:StudentData)后续会在程序中使用。

(2)     Database节点中的Weight属性代表了使用权重。本文示例的三个数据库的Weight值分别是100、100、100,则这三个数据库的负载均衡使用分配比例将会是1:1:1。若把这三个值分别设置为100、50、50,则这三个数据库的使用分配比例将会变为2:1:1。设置成你想要的比例吧。

(3)     Database节点中的Enable属性代表了是否可用。true代表可用,false代表不可用。

(4)     .Net6中可通过把DatabaseType属性的值设置为“MySql”、“SQLite”、“PostgreSql”、“Oracle”、其它等等,从而支持各种类数据库。

 

接下来,我们看看怎么在程序中使用上述的这组数据库及其配置文件,来实现负载均衡。

为了演示负载均衡效果,我们首先在Visual Studio中新建一个控制台工程,并为工程引用添加了Entity Framework组件作为访问数据库的工具(你也可以换成其它数据库访问工具,原理一样,完全不受影响)。

然后,我们做如下四个操作。

【第一步】:从NuGet引用DeveloperSharp包。

【第二步】:在工程配置文件App.config(.Net6/VS2022中亦可添加此配置文件)中添加appSettings节点,节点内容如下:

  <appSettings>
    <add key="DatabaseType" value="" />
    <add key="ConnectionString" value="" />
    <add key="ErrorPage" value="" />
    <add key="ErrorLog" value="D:\\Test\\Assist\\log.txt" />
    <add key="ConfigFile" value="D:\\Test\\Assist\\ds.xml" />
  </appSettings>

其中,ConfigFile的设置是为了链接前述的ds.xml这个配置文件。ErrorLog则是设置一个错误日志文件。它们均需要设置为文件的“绝对路径”(此处使用“绝对路径”而不是“相对路径”,一是有利于安全性,二是有利于分布式部署)

【第三步】:创建一个StudentLB.cs类文件,它就是数据库负载均衡的核心器件,内容如下:

    //这个属性就是用作映射负载均衡。
    //其“值”需设置为前述ds.xml配置文件中某个DatabaseCluster节点的Id值。
    [DeveloperSharp.Structure.Model.LoadBalance.DataSourceCluster("StudentData")]
    public class StudentLB : DeveloperSharp.Structure.Model.DataLayer
    
        //类中没有任何代码
    

说明:“负载均衡器”类(本篇为:StudentLB类)必须继承自DeveloperSharp.Structure.Model.DataLayer类,并且在其上设置DeveloperSharp.Structure.Model.LoadBalance.DataSourceCluster属性的初始化值为ds.xml配置文件中某个DatabaseCluster节点的Id值。

 

【第四步】:为控制台应用类,添加通过负载均衡器(StudentLB类)访问数据库的代码,注意:核心代码就一行而已!!此示例连续3次访问数据库做同一操作,看会显示什么结果。如下:

    class Program
    
        static void Main(string[] args)
        
            string NameList = "";

            //第一次访问数据库
            var SLB = (new StudentLB()) as DeveloperSharp.Structure.Model.DataLayer;
            var db = new Entities(SLB.IDA.ConnectionString);//每次会根据配置的负载均衡策略输出对应的ConnectionString
            t_Student Stu = db.t_Student.Where(t => t.Id == 3).FirstOrDefault();
            NameList += Stu.Name;

            //第二次访问数据库
            SLB = (new StudentLB()) as DeveloperSharp.Structure.Model.DataLayer;
            db = new Entities(SLB.IDA.ConnectionString);//每次会根据配置的负载均衡策略输出对应的ConnectionString
            Stu = db.t_Student.Where(t => t.Id == 3).FirstOrDefault();
            NameList += Stu.Name;

            //第三次访问数据库
            SLB = (new StudentLB()) as DeveloperSharp.Structure.Model.DataLayer;
            db = new Entities(SLB.IDA.ConnectionString);//每次会根据配置的负载均衡策略输出对应的ConnectionString
            Stu = db.t_Student.Where(t => t.Id == 3).FirstOrDefault();
            NameList += Stu.Name;

            //输出
            Console.WriteLine(NameList);
            Console.ReadLine();

        
    

从以上示例代码我们可以清晰的得知:其实数据库链接字符串ConnectionString就是实现负载均衡的关键所在。而SLB.IDA.ConnectionString则每次会根据配置的负载均衡策略输出对应的链接字符串。

 

示例程序输出显示结果如下:

周云周云1周云2

 

 

最后提示一点:若要把一组数据库的负载均衡应用改为单数据库应用,只需要把ds.xml配置文件中DatabaseCluster节点下的Database节点数量设置为一个即可实现。所以,聪明的你以后可以把你所有的数据库访问代码改为本文样式:)

 

总结

本文技术点思路梳理:

  1. 创建用来实施负载均衡的一组数据库。
  2. 通过ds.xml来配置负载均衡策略。
  3. 在App.config/Web.config中添加链接ds.xml的appSettings节点。
  4. 创建基于DeveloperSharp包的“负载均衡器”类(本篇为:StudentLB类)。
  5. 通过“负载均衡器”产生的ConnectionString链接数据库。

 

【附注】:

(1)下载示例基于.NET4.5。若需要.NET6版本的只需要上NuGet更新包即可,代码一样。

 

下面就通过一个例子,给出实现“异种数据库”负载均衡的两种方法。

首先,把配置负载均衡策略的ds.xml文件修改为多个异种数据库,如下:

<?xml version="1.0" encoding="utf-8" ?>
<DeveloperSharp>
    <DatabaseClusterList>
        <DatabaseCluster Id="StudentData">
            <Database Id="A1" Enable="true" Weight="100" DatabaseType="SqlServer" ConnectionString="Server=localhost;Database=YZZ;Uid=sa;Pwd=123"/>
            <Database Id="A2" Enable="true" Weight="100" DatabaseType="MySql" ConnectionString="Host=localhost;Database=YZZ;User Id=root;password=123"/>
            <Database Id="A3" Enable="true" Weight="100" DatabaseType="PostgreSql" ConnectionString="Server=127.0.0.1;Database=YZZ;Port=5432;User Id=postgres;Password=123;"/>
        </DatabaseCluster>
    </DatabaseClusterList> 
</DeveloperSharp> 

说明:以上配置了异种的Sql Server、MySql、PostgreSql三个数据库来做负载均衡。

 

方法一:

SLB.IDA.ConnectionString //数据库链接字符串 
SLB.IDA.DatabaseType     //数据库类型

无论你的数据库访问工具是Entity Framework、Dapper、SqlSugar、FreeSql、等等,只要有了如上两个参数,你就能自行实现相应的数据库操作。

(注:看懂本文思路的前提,是你已经阅读过.NET下数据库的负载均衡(有趣实验)这篇文章)

 

方法二:

var IDA = SLB.IDA;
//接下来,直接通过IDA进行各类数据库操作

 

【示例1:查询】

下面,首先直接给出一个“查询多数据+选出单数据+参数”的使用示例,代码如下:

   //查询多数据
   var Students1 = IDA.SqlExecute<stu>("select * from t_Student");

   //查询多数据(带参数)
   var IdMin = IDA.CreateParameterInput("IdMin", DbType.Int32, 2);
   var LikeName = IDA.CreateParameterInput("LikeName", DbType.String, 50, "%周%");
   var Students2 = IDA.SqlExecute<stu>("select * from t_Student where Id>@IdMin and Name like @LikeName", IdMin, LikeName);
   //另一种写法
   var Students3 = IDA.SqlExecute<stu>("select * from t_Student").Where(t => t.Id > 2 && t.Name.Contains("周"));

   //选出单数据
   var OneStudent = Students2.FirstOrDefault();

其中stu实体类代码如下形式:

public class stu

        public int Id  get; set; 
        public string Name  get; set; 
        public int Age  get; set; 

//此实体类中的Id、Name、Age属性名,要与数据表中的Id、Name、Age字段名对应

注意:创建参数时使用DbType类型,就是为了能在不同类型数据库(SqlServer、MySql、Oracle、等)之间透明切换!

 

【示例2:分页】

承接上面“示例1”的代码,若我们要对Students1、Students2进行分页操作(比如:每页20条,取出第5页),相关代码如下:

using DeveloperSharp.Extension;//调用“分页功能”需要引用此命名空间
--------------------------

   var Page1 = Students1.PagePartition(20, 5);
   var Page2 = Students2.PagePartition(20, 5);

   //一气呵成的写法
   var Page3 = IDA.SqlExecute<stu>("select * from t_Student").PagePartition(20, 5);

 

【示例3:增/删/改】

前面谈完“查询”,我们接下来谈谈“增/删/改”的使用方式,下面是一个“修改数据+参数+事务”的使用示例:

   try
   
       //开启事务
       IDA.TransactionBegin();

       //修改数据(多语句)
       int affectedRows1 = IDA.SqlExecute("insert into t_Student(Name,Age)values(\'ww\',\'96\');update t_Student set Age=100 where Id=1006");

       //修改数据(带参数)
       var NewAge = IDA.CreateParameterInput("NewAge", DbType.Int32, 200);
       var NewName = IDA.CreateParameterInput("NewName", DbType.String, 50, "孙悟空");
       int affectedRows2 = IDA.SqlExecute("insert into t_Student(Name,Age)values(@NewName,@NewAge)", NewName, NewAge);

       //完成事务
       IDA.TransactionCommit();
   
   catch
   
       //回滚事务
       IDA.TransactionRollBack();
   

 

【示例4:其它】

最后,我们给出一个“聚合函数+输出参数”的使用示例,代码如下:

   var IdMax = IDA.CreateParameterInput("IdMax", DbType.Int32, 20);
   var TotalCount = IDA.CreateParameterOutput("TotalCount", DbType.Int32);//此项为输出参数
   var Students3 = IDA.SqlExecute<stu>("select @TotalCount=count(*) from t_Student where Id<@IdMax", TotalCount, IdMax);
   int tc = (int)TotalCount.Value;

灵活学习+使用以上4个示例,就能满足几乎所有的数据操作需求。

另外,你有没有发现,上述所有的数据操作几乎只用了一个方法来实现:SqlExecute/ SqlExecute<T>

 

IDA内功能方法详细说明(辅助参考):

SqlExecute<T>
声明:IEnumerable<T> SqlExecute<T>(string cmdText, params IDataParameter[] Params) where T : class, new()
用途:执行Sql语句(Select类)
参数:(1)string  cmdText              --  Sql语句
     (2)params IDataParameter[] Params --  参数组
返回:IEnumerable<T> --  多数据结果集


SqlExecute
声明:int SqlExecute(string cmdText, params IDataParameter[] Params)
用途:执行Sql语句(Insert/Update/Delete类)
参数:(1)string  cmdText              --  Sql语句
     (2)params IDataParameter[] Params --  参数组
返回:int --  受影响的行数

SpExecute<T>
声明:IEnumerable<T> SpExecute<T>(string cmdText, params IDataParameter[] Params) where T : class, new()
用途:执行Sp存储过程(Select类)
参数:(1)string  cmdText              --  Sp存储过程名
     (2)params IDataParameter[] Params --  参数组
返回:IEnumerable<T> --  多数据结果集

SpExecute
声明:int SpExecute(string cmdText, params IDataParameter[] Params)
用途:执行Sp存储过程(Insert/Update/Delete类)
参数:(1)string  cmdText              --  Sp存储过程名
     (2)params IDataParameter[] Params --  参数组
返回:int --  受影响的行数

 

以上是关于数据库的负载均衡的主要内容,如果未能解决你的问题,请参考以下文章

有软件负载均衡,也有硬件负载均衡,选择哪个?

负载均衡之软硬件负载均衡的优缺点

多台服务器如何做网络负载均衡?

如何理解Linux下的负载均衡?

负载均衡器技术Nginx和F5的优缺点对比

U8服务器参数配置中负载均衡如何设置