实用Mysql 按照时间(年月周日)维度统计,不存在时间数据 自动补充 0 数值

Posted 小目标青年

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了实用Mysql 按照时间(年月周日)维度统计,不存在时间数据 自动补充 0 数值相关的知识,希望对你有一定的参考价值。

前言


ps: 网上看了一大堆文章, 介绍的东西真的是很够呛, 就没一个能真正用起来的, 各个都是自动补,然后很多都是不好用的。

我自己整理一篇,这是真能用。

本篇内容 :

① 按照 日 、周、月 、年  的维度 去对数据 做分组统计 

② 不存在的数据自动补充 0  (实用)

正文

不多说,开搞。


结合实例 :

先看我们的表 student 

 建表sql:

CREATE TABLE `student` (
    `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
    `name` VARCHAR(50) NULL DEFAULT NULL COMMENT '名字' COLLATE 'utf8_general_ci',
    `admission_time` DATETIME NULL DEFAULT NULL COMMENT '入学时间',
    PRIMARY KEY (`id`) USING BTREE
)


现在我们就举个简单的业务场景:

根据admission_time 入学时间,按照年月日周这些维度 去统计 学生数量。


我们来做一些模拟数据,8条数据:

第一部分 , 按照时间维度统计的SQL 写法


我们先简单看看 按照 日 、周  、月 、年 的统计 sql怎么写 :


日 维度 

sql:

SELECT date_format(admission_time, '%Y-%m-%d') date_time, COUNT(*) num
FROM student
GROUP BY date_time ;

 看看效果:


 
ps : 注意了 这些 ‘-’ 是我们定义的格式, 我们不要 ‘-’ 换成其他的也是可以的,但是 不能不要 ymd 这些关键字。

举个小栗子:
 
 
比如 ,date_format(admission_time, '收藏%Y点%m赞%d')

SELECT date_format(admission_time, '收藏%Y点%m赞%d') date_time, COUNT(*) num
FROM student
GROUP BY date_time ;

看看效果 :

周维度 

 sql:

SELECT DATE_FORMAT(admission_time,'%Y-%u 周')  AS  date_time, COUNT(*) num FROM student GROUP BY date_time;

ps : 为了让你们知道 这个周的概念, 我故意加了个中文。 而且特意把一条数据 时间改成 22年的最后一周的一天。

 
看看效果 :


月维度 

sql:

SELECT DATE_FORMAT(admission_time, '%Y-%m') date_time, COUNT(*) num
FROM student
GROUP BY date_time ;

看看效果 :

年维度

sql:

SELECT DATE_FORMAT(admission_time, '%Y') date_time, COUNT(*) num
FROM student
GROUP BY date_time ;

看看效果:

好了 知道这些基础的 时间分组sql 用法之后, 那么我们接下来就 来 玩下怎么 解决自动补 0 的这个问题。


第二部分 , 自动填充不存在的数据 数值 0


首先,如果说 sql查出来的数据没有, 我们拿月维度的来 做个示例 ,就像这样 :

 

这里突然想到个点,很多人说那这里面混了 2022年, 2023年的数据, 我想要指定查询某段时间的怎么搞?

其实一样的,就根据时间查询就行:

比如像这样传入我们的筛选时间范围,按照月就这样 :

sql:


SELECT * FROM (

select date_format(admission_time, '%Y-%m') date_time, count(*) num
from student
group by date_format(admission_time, '%Y-%m')

)t WHERE t.date_time BETWEEN '2023-01' AND   '2023-03'

效果:


 
回到刚才,可以看到统计出来的数据, 比如说23年的,有1月的,2月的, 3月的, 那么 4,5,6,7后面这些月份,没数据,那怎么办?

如何默认去填充 0呢 ?
 

写代码填充,后端拿到查数据库返回的数据,for循环遍历,检测时间段内的日期, 比如说 12个月,看看哪个月没有,就填充。

确实 这是可以的, 但是今天这一篇介绍的是通过sql返回 , 不考虑代码上面的填补。

接下来看看SQL怎么玩 。

思路&想法 : 
 

我们能查出来 student 现有的日期数据, 那么缺少的数据 我也得给整出来 。

那我们肯定不能去改 student表的数据呀, 现在就是单纯少了一些 空白月份的数据 。


所以我们选择 临时数据表的思维。


ps : 网上一大堆文章,都让咱们去跑个存储过程  强行生成一个表..

你看看(一万个拒绝) 

 还有这种,按照目前时间拼接出来的:

(5000个拒绝,这种now 直接切割到现在,还得写一大堆这种01,02,03,04;
   如果我是要填充 日维度的数据,那我这sql代码量不就爆炸了?

) 

 这种也是:

OK, 我们来看看我们的SQL :

 

select DATE_FORMAT(date_add('2023-01-01', interval row MONTH),'%Y-%m') date_time from
 ( 
    SELECT @row := @row + 1 as row FROM 
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t,
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t2, 
    (SELECT @row:=-1) r
 ) se
 where DATE_FORMAT(date_add('2023-01-01', interval row MONTH),'%Y-%m') <= DATE_FORMAT('2023-12-01','%Y-%m')

效果 :
 

ps: 这里用了月举例, 要弄年或周或者日的 在文末有补充。

sql 作用简析 :

简析点一 



 

 简析点二

 可以看到 ,这里面 我写了2行这个玩意  。

(select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t
 

简单说下:
 

写一行这个玩意, 代表能搞出 10 条 符合 范围时间内日期格式时间数据 ;

当写多一行呢(2行的时候),代表 10 * 10 =100 条 

当再写多一行呢(3行的时候)?  10*10*10 =1000条

所以我们上面的sql,我写了2行,

代表 在我传入的时间范围 2023-01-01 到 2323-12-01  内

我写的时间格式是取月, 一共其实就12 个月数据,也就是12条, 但是只写一次10条不够用,我也就用了2次(100条)。

言下之意, 其实你跟我这样写2次,100条, 什么概念, 1年12个月 相当于12条,这样 100条相当于可以查跨度 8年的时间了 (8*12-96)

如果你不是要查日, 业务需求一般不会让咱们写跨度这么大的。

当然了,如果就是有, 那么我们大不了直接写 4条, 相当于 10*10*10*10 =1 万  条。

OK,不啰嗦,回到我们的示例 :

我们现在 如果说是查跨度 2年的数据, 比如现在按照我们part的sql 查出来是这样子的 。

可以看到结果集, 22年数据 缺了很多 需要补0的, 23年也缺了很多。

所以我们这时候需要做一个 left join 即可解决自动补 0 的事情。

sql操作图析:
 

sql:


SELECT  A.date_time, COALESCE(B.num, 0) as num  FROM 


(

SELECT DATE_FORMAT(date_add('2023-01-01', interval row MONTH),'%Y-%m') date_time FROM
 ( 
    SELECT @row := @row + 1 as row FROM 
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t,
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t2,
	 (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t3,
	 (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t4,
	  
    (SELECT @row:=-1) r
 ) se
WHERE DATE_FORMAT(date_add('2023-01-01', interval row MONTH),'%Y-%m') <= DATE_FORMAT('2023-12-01','%Y-%m')

) A


LEFT JOIN 

(

SELECT DATE_FORMAT(admission_time, '%Y-%m') date_time, COUNT(*) num
FROM student
GROUP BY DATE_FORMAT(admission_time, '%Y-%m')

) B


ON    A.date_time= B.date_time

看看效果 :

这盛世如我所愿, 好了, 该篇就到这。 

文末补充 日、年、周 维度的 列出完整数据条sql :

按日 列出范围内日期的sql :
 

select date_add('2023-01-01', interval row DAY) date from
 ( 
    SELECT @row := @row + 1 as row FROM 
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t,
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t2,
	  (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t3,
	   (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t4,   
    (SELECT @row:=-1) r
 ) se
 where date_add('2023-01-01', interval row DAY) <= '2023-01-20'

 效果:

按周 列出范围内日期的sql :

按照周要注意一点,当传入每年的01-01这一天的时候 会出现0周 ,可以做一下处理。

 select DATE_FORMAT(date_add('2023-01-01', interval row WEEK),'%Y-%u') date_time from
 ( 
    SELECT @row := @row + 1 as row FROM 
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t,
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t2,
	 (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t3,
	 (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t4,
	  
    (SELECT @row:=-1) r
 ) se
 where DATE_FORMAT(date_add('2023-01-01', interval row WEEK),'%Y-%u') <= DATE_FORMAT('2023-01-06','%Y-%u')

按年 列出范围内日期的sql :


select DATE_FORMAT(date_add('2020-01-01', interval row YEAR),'%Y') date_time from
 ( 
    SELECT @row := @row + 1 as row FROM 
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t,
    (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t2,
	 (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t3,
	 (select 0 union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) t4,
	  
    (SELECT @row:=-1) r
 ) se
 where DATE_FORMAT(date_add('2020-01-01', interval row YEAR),'%Y') <= DATE_FORMAT('2023-12-01','%Y')
 

效果:

以上是关于实用Mysql 按照时间(年月周日)维度统计,不存在时间数据 自动补充 0 数值的主要内容,如果未能解决你的问题,请参考以下文章

SQL按照年月员工状态统计出勤情况

sql将日期按照年月分组并统计数量

Excel如何进行多条件多维度计算?

mysql按年度季度月度周日统计查询的sql语句

MySQL# mysql按日周月进行分组统计

mysql按年度季度月度周日SQL统计查询