令牌桶(Token Bucket)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了令牌桶(Token Bucket)相关的知识,希望对你有一定的参考价值。

参考技术A 想象有一个木桶,系统按照固定速率,例如10ms每次,往桶里加入Token,如果桶已经满了就不再添加。新请求来临时,会各自拿走一个Token,如果没有Token 就拒绝服务。这里如果一段时间没有请求时,桶内就会积累一些token,下次一旦有突发流量,只要token足够,也能一次处理。

总结下令牌桶算法的特点,令牌桶即可以控制进入系统的请求请求量,同时允许突发流量。

在秒杀活动中,用户的请求速率是不固定的,这里我们假定为10r/s,令牌按照5个每秒的速率放入令牌桶,桶中最多存放20个令牌,那系统就只会允许持续的每秒处理5 个请求,或者每隔4 秒,等桶中20 个令牌攒满后,一次处理20个请求的突发情况,保证系统稳定性。

go简易版实现

Hive bucket桶

对于每一个表(table)或者分区,Hive可以进一步组织成桶。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希,然后除于桶的个数求余的方式决定该条记录存放在哪个桶当中。采用桶能够带来一些好处,比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大减少JOIN的数据量。

Hive中table可以拆分成Partition,table和Partition可以通过‘CLUSTERED BY‘进一步分bucket,bucket中的数据可以通过‘SORT BY‘排序。

Hive中bucket的主要作用:

1.数据sampling

2.提升某些查询操作效率,列如Map Side join

注:cluster by和sorted by不会影响数据的导入,这意味着,用户必须自己负责数据如何导入,包括数据的分桶和排序。另外一个要注意的就是使用桶表的使用一定要设置如下属性:

 

[java] view plain copy
 
  1. hive.enforce.bucketing=true  


示例:

 

#建立student表,如下:

 

[java] view plain copy
 
  1. hive (hive)> create table student(  
  2.            > id int,age int,name string)  
  3.            > partitioned by (stat_date string)  
  4.            > clustered by(id) sorted by(age) into 2 buckets  
  5.            > row format delimited   
  6.            > fields terminated by ‘\t‘  
  7.            > stored as textfile;  
  8.            > stored as textfile;  
  9. OK  
  10. Time taken: 0.101 seconds  


#创建数据源

 

 

[java] view plain copy
 
  1. [root@liaozhongmin5 src]# vim student  
  2. [root@liaozhongmin5 src]# more student   
  3. 1   22  lavimer  
  4. 2   23  liaozhongmin  
  5. 3   24  liaozemin  
  6. 4   25  liaomin  
  7. 5   26  min  


#启用桶表

 

 

[java] view plain copy
 
  1. hive (hive)> set hive.enforce.bucketing=true;  


#导入数据

 

 

[java] view plain copy
 
  1. hive (hive)> load data local inpath ‘/usr/local/src/student‘ into table student partition(stat_date=‘2015-01-29‘);  

 

 

#我在采用insert的语句将数据从表中查询出来从新覆盖进表中(因为通过load data的形式导入数据后能直观看到分桶的结构):

 

[java] view plain copy
 
  1. hive (hive)>   
  2.            > insert overwrite table student                                
  3.            > partition(stat_date=‘2015-01-29‘)  
  4.            > select id,age,name from student where stat_date=‘2015-01-29‘ sort by age;  

此时查看文件系统中的目录结构如下:

 

技术分享技术分享技术分享

注:不知道为什么使用load data的形式导入数据时就不会有分桶的结构。

#查看所有数据

 

[java] view plain copy
 
  1. hive (hive)> select * from student;  
  2. OK  
  3. id  age name    stat_date  
  4. 1   22  lavimer 2015-01-29  
  5. 2   23  liaozhongmin    2015-01-29  
  6. 3   24  liaozemin   2015-01-29  
  7. 4   25  liaomin 2015-01-29  
  8. 5   26  min 2015-01-29  
  9. Time taken: 0.328 seconds  


#查看sampling数据

 

 

[java] view plain copy
 
  1. hive (hive)> select * from student tablesample(bucket 1 out of 2 on id);  

 

注:上述语句表示抽取1(2/2)个bucket的数据从第一个桶中抽取数据。

 

结果如下:

 

[java] view plain copy
 
  1. id  age name    stat_date  
  2. 2   23  liaozhongmin    2015-01-29  
  3. 4   25  liaomin 2015-01-29  


注:

 

tablesample是抽样语句,语法:tablesample(bucket x out of y),y必须是table总共bucket数的倍数或者因子。Hive根据y的大小,决定抽样的比例。例如:table总共分了64份,当y=32时,抽取2(64/32)个bucket的数据,当y=128时,抽取1/2(64/128)个bucket的数据。x表示从哪个bucket开始抽取。例如:table总共bucket数为32,tablesample(bucket 3 out of 16)表示总共抽取2(32/16)个bucket的数据,分别为第三个bucket和第19(3+16)个bucket的数据。

以上是关于令牌桶(Token Bucket)的主要内容,如果未能解决你的问题,请参考以下文章

Go 分布式令牌桶限流 + 兜底策略

高并发学习之使用RateLimiter实现令牌桶限流

RateLimiter令牌桶算法浅析

coding++:高并发解决方案限流技术-使用RateLimiter实现令牌桶限流-Demo

一份golang令牌桶攻略(juju/ratelimit)

限流算法之漏桶、令牌桶的区别