分页功能设计（解决数据重复问题）

Posted 2023-04-10

参考技术A

传统分页的话，一般只考虑传页数和每页数据条数这两个参数给后端，为了方便后面描述，我们给这个传参方式起个名字叫 传统分页 。这种传参方式对于静态数据（数据不会变动）的分页是没问题的，因为每条数据的顺序、数据的总量，都是不变的。

如果出现数据顺序变动或者数据总量变动的分页需求时，单纯的传page和limit已经不能解决了。

不同的需求需要显示的列表也不一样。关于列表分页我认为主要关系到两个方面， 总量 （列表头插入了新数据） 和 排列顺序 。 传统分页 在 总量不变，排列顺序不变 的列表下是没有任何问题的，但只要这两个要素其中一个是变化的， 传统分页 方式就会出现BUG（具体案例后面会讲到）。关于上面提到两个要素对应的需求举例：

现在有一个积分排行榜

假定每页显示3条数据，在某一时刻拿第一页数据时，得到 A、B、C三条数据。就在此时，用户D突然增加了100积分，最新的排行榜情况变成了

传统分页 的情况下，获取第二页数据时，即从当前排行榜第四条数据开始获取，得到 C、E，用户看到的数据就变成 A、B、C、C、E。这里C出现了2次，而且D消失了。这就是传统分页用在 数据排列顺序会改变的列表 时会出现的问题，因为列表顺序改变导致出现重复数据和丢失数据。

这种 总量不变，排列顺序改变 的分页问题我能想到的暂时有两种方案解决：一次性取出、排行榜快照、通过变动记录表拿数据。

这里说的一次性取出是针对类似“top100”这种取有限条数的需求。在比较简单的列表数据结构下一次性取出100条数据对服务器性能来说问题不大，但是在复杂数据结构下（涉及关联多个表、数据格式化、数据处理等）一次性处理100或更多的数据肯定是糟糕的做法。

排行榜主要的分页问题是 影响排名的字段的值在不断变化导致列表顺序不断改变 ，我们现在可以一次性取出整个列表但是又担心复杂的数据结构导致服务器性能问题。那如果我们把整个功能拆分一下，用异步的思想来做这个功能设计如何呢。

我们分两个接口来做这个功能：获取排行榜列表和获取用户排行榜数据。

获取排行榜列表接口 一次性取整个排名列表的用户ID和排名相关的字段数据，这样就保证了整个列表的排序是不变的同时，又不增大服务器性能。

获取用户排行榜数据接口 负责取排行榜要显示的用户的其他数据，这个接口接受多个用户ID的作为参数。这个接口做了类似分页的功能，前端每次从排行榜中按分页的方式按顺序取部分用户ID，然后通过这个接口获取具体数据显示给用户。

下面以例子的方式来做具体说明：

这是一个 积分排行 top100

这里的排行条件是 积分 ，那我们的 获取排行榜列表接口 只需要取“用户ID”和“积分”即可，剩下的 “昵称”、“胜率”等数据通过 获取用户排行榜数据接口 获取。

前端先请求 列表接口，获取到一下数据：

然后根据这个列表数据，先取前10条的用户ID：5、12、60、2、77… 去请求 获取用户排行榜数据接口，把获得的用户数据填充到排行榜中。当用户下滑加载更多数据时再去列表取在11-20的用户ID重复上面的操作。

如果是 top100 的需求，这个方案是比较 推荐 的，因为没有性能和储存空间上的额外消耗。

因为考虑到主要问题出在排列顺序是变化的，而且通过其他APP也有看到过按时刷新的排行榜，所以想到了用快照的方式来解决。

可以通过写一个定时脚本，每5分钟生成一次排行榜的快照信息并存下来。接口请求时直接从快照中取数据，这一定程度上解决了列表排序一直在变化问题。这里之所以说只解决了一定程度，是因为在每次刷新快照数据的时候，可能有用户刚好卡在这个时间点之间去请求（刷新快照前用户请求了第一页数据，刷新快照后用户请求第二页，这就出现 传统分页 同样的问题了）。

可以通过在快照中加上 版本号 来解决问题。例如在生成快照的时候以当前时间戳作为版本号跟快照数据一起保存，同时需要系统保存多份快照数据以便用户获取旧快照数据。请求接口时默认拿最新版本的快照，如果接口传入了版本号就拿对应版本号的快照数据。

每个完备的系统都会有数据变动的记录表，用于追踪数据变动和操作明细。记录变记录着数据每次变动前后的变化和变动时间，这一特性为使得数据的每次变动都有迹可循，我们就是利用这一点来做排行榜的分页。

我们分页出问题的地方就是因为数据在不断变化导致排序不停改变。上面说到每次数据变动都会有记录，那我们只需要根据某一时刻之前用户的数据来做排名，是不是就解决数据不断变动这个问题。文字表达可能不太直观，看下面的数据演示应该能比较好理解。

假定用户 A、B、C 初始默认都是100积分

表： score_log

假定在03分的时候请求了数据，通过下面的SQL语句就可以拿到03分之前的数据排行。

得到第一页数据：

第二页数据：

关于这种方式的请求，前端需要记录发起第一次请求时的时间，以后每页的请求都带着这个时间。

评论列表一般按照倒叙排列，而且顺序不变。因为是倒叙排列，所以最新的用户评论会放在最顶部，这就会导致问题了。我们还是用实际例子来说。

假定每页拿3条数据，此时请求第一页，得到ID分别5、4、3的评论。在请求第二页之前，突然又来了一条留言，此时列表变成：

用 传统分页 方式，此时获取第二页会得到ID 3、2、1，这里ID 3 就重复取出来了。

这个问题的解决方案相比排行榜列表分页问题简单而且易懂。评论ID是一个自增的int字段，新的评论ID总是比旧评论ID要大，利用这一点我们可以很好的解决问题。

接口传参：

limit 就不用作解释，说一下lastid。当获取第一页数据时，因为没有上一页所以 lastid 传空或者不传，此时服务器取最新的数据即可。获取第二页数据时，lastid 传第一页最后一条数据的ID，此时服务器取 ID < lastid 的数据，这就保证最新的评论不会影响到当前用户的分页。

这里做一个扩展，我们有时候看到有的页面在刷新的时候，会提示有多少条新的未查看评论（即列表头新的数据），这个功能的实现原理跟我们上面分页的原理差不多。在获取第一页数据时，把第一页的第一条数据ID保存下来，后面请求每一页时都把第一条ID（ firstid ）带上，服务器每次查 ID > firstid 的数据条数，如果大于0即表示有新的评论。

首先说一下，下面提供的方法我自己也不满意（如果有什么想法欢迎大家留言交流）。参考了微博的评论排序也存在上面说到的分页bug，感觉要完美解决这个需求的分页问题花费的代价（实现时间、服务器性能、存储空间等）大于功能本身，所以建议读者选择比较折中的方式来处理（与产品或上级沟通实现的难度）。

这个需求相比评论列表，多了点赞的功能，列表按点赞数量倒叙排列。先说一下不严谨情况下这个分页的实现方式：

这种方式会有两个问题：

我们可以沿用上面讲到的两个需求的解决方案。在解决列表排序问题上，我们可以沿用排行榜的 通过变动记录表拿数据 方式，增加一个表去记录评论的点赞变动记录（用空间换效率）。

表结构：

分页用到的查询语句：

Oracle分页查询排序数据重复问题

在项目开发过程中大量的使用了分页查询,当想要让数据按照日期排序时,出现了很多重复的数据出现。

造成这一问题出现的原因是：在数据中，日期的值不是唯一的。

我们知道

Oracle的分页查询是没有进行任何排序操作的，Oracle是顺序的从数据块中读取符合条件的数据返回到客户端。

而Oracle的排序算法不具有稳定性，也就是说，对于键值相等的数据，这种算法完成排序后，不保证这些键值相等的数据保持排序前的顺序。

解决这一问题的方法就是在后边增加一个唯一性列，比如主键，问题解决。

 

select * from
(
  select a.*, rownum rn from
    ( select * from user u order by u.createdate desc, u.id desc ) a
where rownum <=20
) b
where b.rn >=0