多终端数据同步机制设计

Posted 2020-08-09 Love it or leave it

多终端数据同步机制设计（二）

Intro

如果您没有看上一篇文章，建议您先移步到这里查看第一部分 上一次主要解决了基本的数据增量同步的问题，但仍然存在一些问题。 可能存在的主要问题：

1. 大数据量传输时，数据在传输过程出现部分丢失，数据不完整
2. 超大数据量需要同步，导致响应时间过长而导致连接超时

针对以上可能出现的这两个问题，需要对数据进行校验并且数据量超过一定量时进行分批量传输， 本文将着手解决 数据校验 和 数据分批次传输 这两个问题。

同步流程概览

结合之前的同步流程，加上数据校验和分批次传输数据，大概流程如下： 客户端调用服务器端的 Pull 接口从服务器端拉取数据， 如果本地版本号等于服务器端最新版本号，则已更新的最新版本， 如果本地版本小于服务器端最新的版本号，则拉取需要更新的数据，服务器端返回数据的同时会返回本地传输的数据的一个校验值， 客户端获取到服务器端响应时先根据接收到的数据计算校验值，计算出来之后与服务器端返回的校验值进行比较， 如果本地计算的校验值与服务器端返回的校验值一致则进行更新客户端本地数据，不一致则视为无效数据，重新请求 Pull 接口。

更新到最新版本之后，判断本地是否存在未提交的版本，如果本地不存在修改则本次数据同步完成，如果本地存在修改，则提交本地修改，提交本地数据的之前要先计算传输数据的校验值，校验值和本地数据一起传给服务器端 Push接口。 服务器端 Push 接收到客户端请求之后需要进行数据校验，根据传输的数据计算校验值并与客户端传的校验值比较， 如果两个值不一致，则视为数据在传输过程中发生丢失或是异常数据，则不处理并返回客户端，本次请求属于异常请求。 如果两个值一致，再进行数据处理，处理结束之后，数据会有一个返回状态和其他必要的属性，根据数据计算校验值，与从服务器拉取数据时类似，不再赘述， 客户端数据校验通过之后，根据服务器端处理状态进行本地数据的更新。

下面展示添加数据校验后的主要流程图：

服务器端获取数据：

 

客户端拉取数据：

 

服务器端更新数据：

 

客户端推送更新数据：

 

数据校验

数据校验，我们用的是MD5进行校验，取传输数据的MD5，使用MD5有两方面的考虑： 一方面因为MD5生成的字符串不算太长，不会影响传输的数据量， 另一方面也是因为MD5比较通用一些，APP端实现起来也比较方便。

数据分批传输

数据分批次传输，自己感觉这里实现的比较 LOW ，这里类似于网站上的分页，没想到更好的解决方案，期待大神分享更好的解决方案。 返回客户端 当前请求数据页码索引 和 本次数据传输总页数，如果页码索引小于总页数，则页码索引+1，再请求一次接口知道返回的页码索引等于总页数。

Summary

数据转MD5踩到的坑

数据转MD5的时候，再次踩了一个坑， 开始是这样做的，用MD5算法计算出字节数组，然后使用 System.Text.Encoding.UTF8.GetString() 方法转换成字符串，结果在调试的时候就傻逼了，获取到的字符串是乱码、乱码、乱码。。。【No zuo no die】

下面祭出我鲜血淌过的代码【笑Cry】

 1     /// <summary>
 2     /// 对象转换为MD5字符串
 3     /// </summary>
 4     /// <param name="obj">对象</param>
 5     /// <param name="isLowwer">是否是小写</param>
 6     /// <returns></returns>
 7     public static string ToMD5String(this object obj, bool isLowwer = false)
 8     {
 9         if (obj == null)
10         {
11             return "";
12         }
13         //创建MD5对象
14         MD5 md5 = new MD5CryptoServiceProvider();
15         byte[] byteArray = null;
16         using (MemoryStream ms = new MemoryStream())
17         {
18             new System.Runtime.Serialization.Formatters.Binary.BinaryFormatter().Serialize(ms, obj);
19             byteArray = ms.ToArray();
20         }
21         //计算指定字节数组的哈希值
22         byte[] bMD5 = md5.ComputeHash(byteArray);
23         //释放加密服务提供类的所有资源
24         md5.Clear();
25         System.Text.StringBuilder sbMD5Pwd = new System.Text.StringBuilder();
26         if (isLowwer)
27         {
28             for (int i = 0; i < bMD5.Length; i++)
29             {
30                 //将每个字节数据转换为2位小写的16进制的字符
31                 sbMD5Pwd.Append(bMD5[i].ToString("x2"));
32             }
33         }
34         else
35         {
36             for (int i = 0; i < bMD5.Length; i++)
37             {
38                 //将每个字节数据转换为2位大写的16进制的字符
39                 sbMD5Pwd.Append(bMD5[i].ToString("X2"));
40             }
41         }
42         return sbMD5Pwd.ToString();
43     }

 

End

最后提供整个同步流程设计的流程图，点我下载

另如果你有别的方案欢迎共同讨论，希望大神看到能给出自己的看法和意见，有不正确的地方还希望能够告知。