用户表分表原理

Posted 2020-11-14 lo-gin

当用户数量达到百万甚至千万级别的时候，可能无法靠单标满足现有需求。此时常用的处理方式就是分库分表。这里介绍一个简单的分表方法。

对用户进行分表，首先要解决的是将一个用户分配到那个表，然后如何知道去哪个表查询该用户的数据。解决了这个两个问题。无论将该用户的数据放在哪个表都无所谓。

首先来看一个方法：

function getHash($uid) {

    return sprintf(‘%03x‘,intval(sprintf(‘%u‘, crc32($uid)))%512 );

}

 

该方法完成了以下步骤：

(1)通过循环冗余校验，每个字符串都会生成一个固定的数字。

(2)用该数字对512取模得到一个0<=X<512的数字

(3)再用16进制格式化，可生成一个固定的3个字符的字符串。

(4)该方法的作用可以通过用户ID生成一个固定的3个字符的字符串。根据该字符串可将该用户分配到对应的表中。

 

不论用户id是什么，通过循环冗余校验后都能得到一个数字。将该数字取模。然后将余数格式化成字符串。（当然也可以不格式化，直接用数字也可以。）然后用该字符串做前缀或者后缀创建用户表。

 

例如：

我先以固定字符串为后缀，在user数据库创建了user_000、user_001 … user_1ff共512张用户表。(当然512张表的结构是一模一样的。)

$model = new Model();
$db = ‘userdb‘;
for($i=0; $i<512; $i++){
    $num = sprintf(‘%03x‘, $i);
    $sql="CREATE TABLE IF NOT EXISTS `{$db}`.`user_{$num}` (
            `uid` bigint(20) NOT NULL,
            `name` int(11) NOT NULL,
            `server` int(11) NOT NULL,
            `cid` int(11) NOT NULL,
            `aid` int(11) NOT NULL,
            `areaId` int(11) NOT NULL,
            `eventtime` int(11) NOT NULL,
            `eventdate` date NOT NULL,
            `eventhour` int(11) NOT NULL,
            PRIMARY KEY (`uid`)
        ) ENGINE=InnoDB DEFAULT CHARSET=utf8";

    $model->query($sql);
}

 

然后将一个用户ID为[email protected] 通过以上行数进行格式化，得到一个3个字符串：1c8 ，然后将此用户的数据存入user.user_1c8 数据表中，以后需要用到这个用户的数据，只要进该用户id也就是[email protected] 通过以上方法得到1c8 然后从数据表user.user_1c8 中查询该用户的数据即可。