SQL Server - 重叠数据的累积总和 - 获取总和达到给定值的日期
Posted
技术标签:
【中文标题】SQL Server - 重叠数据的累积总和 - 获取总和达到给定值的日期【英文标题】：SQL Server - cumulative sum on overlapping data - getting date that sum reaches a given value 【发布时间】：2015-06-04 10:21:52 【问题描述】：在我们公司，我们的客户执行我们登录不同表格的各种活动 - 面试出勤、课程出勤和其他一般活动。 我有一个数据库视图，它结合了所有这些表中的数据，为我们提供了看起来像这样的 ActivityView。 您可以看到一些活动重叠 - 例如，在参加面试时，客户可能一直在执行简历更新活动。
+----------------------+---------------+---------------------+-------------------+
| activity_client_id | activity_type | activity_start_date | activity_end_date |
+----------------------+---------------+---------------------+-------------------+
| 112 | Interview | 2015-06-01 09:00 | 2015-06-01 11:00 |
| 112 | CV updating | 2015-06-01 09:30 | 2015-06-01 11:30 |
| 112 | Course | 2015-06-02 09:00 | 2015-06-02 16:00 |
| 112 | Interview | 2015-06-03 09:00 | 2015-06-03 10:00 |
+----------------------+---------------+---------------------+-------------------+
每个客户都有一个“注册日期”，记录在客户表上，这是他们加入我们计划的时间。这是我们的示例客户端：
+-----------+---------------------+
| client_id | client_sign_up_date |
+-----------+---------------------+
| 112 | 2015-05-20 |
+-----------+---------------------+
我需要创建一个显示以下列的报告：
+-----------+---------------------+--------------------------------------------+
| client_id | client_sign_up_date | date_client_completed_5_hours_of_activity |
+-----------+---------------------+--------------------------------------------+
我们需要这份报告来了解我们的计划的效果。该计划的一个重要目标是让每个客户尽快完成至少 5 小时的活动。 所以这份报告会告诉我们每个客户从注册到达到这个数字需要多长时间。
更棘手的是，当我们计算 5 小时的总活动时，我们必须扣除重叠的活动：
在上面的示例数据中，客户在 09:00 到 11:00 之间参加了面试。 同一天，他们还在09:30到11:30进行了简历更新活动。 对于我们的计算，这将为他们提供 2.5 小时（150 分钟）的总活动时间 - 我们只计算 30 分钟的简历更新，因为面试与 11:00 重叠。
因此，我们的示例客户端的报告将给出以下结果：
+-----------+---------------------+--------------------------------------------+
| client_id | client_sign_up_date | date_client_completed_5_hours_of_activity |
+-----------+---------------------+--------------------------------------------+
| 112 | 2015-05-20 | 2015-06-02 |
+-----------+---------------------+--------------------------------------------+
所以我的问题是如何使用 select 语句创建报告？ 我可以通过编写一个存储过程来解决这个问题，该过程将遍历视图并将结果写入报告表。 但我更愿意避免使用存储过程，并使用一个 select 语句来即时为我提供报告。
我使用的是 SQL Server 2005。
【问题讨论】：
我们可以假设没有任何时期精确相互重叠吗？ @Damien。这种可能性很小，但我认为如果这意味着我们在 99.99% 的时间里都能获得正确的数据，我们现在可以忽略这一点， 【参考方案1】：请参阅 SQL Fiddle here。
with tbl as (
-- this will generate daily merged ovelaping time
select distinct
a.id
,(
select min(x.starttime)
from act x
where x.id=a.id and ( x.starttime between a.starttime and a.endtime
or a.starttime between x.starttime and x.endtime )
) start1
,(
select max(x.endtime)
from act x
where x.id=a.id and ( x.endtime between a.starttime and a.endtime
or a.endtime between x.starttime and x.endtime )
) end1
from act a
), tbl2 as
(
-- this will add minute and total minute column
select
*
,datediff(mi,t.start1,t.end1) mi
,(select sum(datediff(mi,x.start1,x.end1)) from tbl x where x.id=t.id and x.end1<=t.end1) totalmi
from tbl t
), tbl3 as
(
-- now final query showing starttime and endtime for 5 hours other wise null in case not completed 5(300 minutes) hours
select
t.id
,min(t.start1) starttime
,min(case when t.totalmi>300 then t.end1 else null end) endtime
from tbl2 t
group by t.id
)
-- final result
select *
from tbl3
where endtime is not null
【讨论】：
谢谢，这看起来也很棒。我将对此和下面的@Giorgos 答案进行试验，看看哪个运行效率最高。【参考方案2】：这是一种方法：
;WITH CTErn AS (
SELECT activity_client_id, activity_type,
activity_start_date, activity_end_date,
ROW_NUMBER() OVER (PARTITION BY activity_client_id
ORDER BY activity_start_date) AS rn
FROM activities
),
CTEdiff AS (
SELECT c1.activity_client_id, c1.activity_type,
x.activity_start_date, c1.activity_end_date,
DATEDIFF(mi, x.activity_start_date, c1.activity_end_date) AS diff,
ROW_NUMBER() OVER (PARTITION BY c1.activity_client_id
ORDER BY x.activity_start_date) AS seq
FROM CTErn AS c1
LEFT JOIN CTErn AS c2 ON c1.rn = c2.rn + 1
CROSS APPLY (SELECT CASE
WHEN c1.activity_start_date < c2.activity_end_date
THEN c2.activity_end_date
ELSE c1.activity_start_date
END) x(activity_start_date)
)
SELECT TOP 1 client_id, client_sign_up_date, activity_start_date,
hoursOfActivicty
FROM CTEdiff AS c1
INNER JOIN clients AS c2 ON c1.activity_client_id = c2.client_id
CROSS APPLY (SELECT SUM(diff) / 60.0
FROM CTEdiff AS c3
WHERE c3.seq <= c1.seq) x(hoursOfActivicty)
WHERE hoursOfActivicty >= 5
ORDER BY seq
Common Table Expressions 和 ROW_NUMBER() 是在 SQL Server 2005 中引入的，因此上述查询应该适用于该版本。
Demo here
第一个CTE，即CTErn，产生以下输出：
client_id activity_type start_date end_date rn
112 Interview 2015-06-01 09:00 2015-06-01 11:00 1
112 CV updating 2015-06-01 09:30 2015-06-01 11:30 2
112 Course 2015-06-02 09:00 2015-06-02 16:00 3
112 Interview 2015-06-03 09:00 2015-06-03 10:00 4
第二个CTE，即CTEdiff，使用上表表达式来计算每条记录的时间差，同时考虑到与前一条记录的任何重叠：
client_id activity_type start_date end_date diff seq
112 Interview 2015-06-01 09:00 2015-06-01 11:00 120 1
112 CV updating 2015-06-01 11:00 2015-06-01 11:30 30 2
112 Course 2015-06-02 09:00 2015-06-02 16:00 420 3
112 Interview 2015-06-03 09:00 2015-06-03 10:00 60 4
最终查询计算时间差的累积总和，并选择第一个超过 5 小时活动的记录。
上述查询适用于简单间隔重叠，即当一个活动的结束日期与下一个活动的开始日期重叠时。
【讨论】：
谢谢，这看起来很棒。在所有客户端上运行此查询需要很长时间。所以我在客户表“5_hours_of_activity_date”中添加了一个新列。我使用上面的代码创建了一个每晚运行的存储过程，以更新每个客户端的新列。【参考方案3】：几何方法
对于another issue，迄今为止我采用了几何方法
包装。即，我将日期和时间转换为 sql 几何
键入并利用geometry::UnionAggregate 合并范围。
我不相信这会在 sql-server 2005 中工作。但是你的 问题是如此有趣的谜题，我想看看 几何方法是否可行。所以任何未来 遇到此问题的用户有权访问以后 版本可以考虑。
代码说明
在“数字”中：
我构建了一个表示序列的表 换成您最喜欢的方式来制作数字表格。 对于联合操作，您永远不需要比 in 你原来的桌子，所以我只是用它作为基础来构建它。在“合并线”中：
我将日期转换为浮点数并使用这些浮点数 创建几何点。 然后我通过 STUnion 和 STEnvelope 连接这些点。 最后，我通过 UnionAggregate 合并所有这些行。所结果的 'lines' 几何对象可能包含多条线，但如果它们 重叠，它们变成一条线。在“更新”中：
我使用数字 CTE 来提取“行”内的各个行。 我将这些行包起来，确保这些行被存储 仅作为其两个端点。 我读取端点 x 值并将它们转换回它们的时间 表示（这通常是最终目标，但您需要更多）。 我计算活动开始和活动之间的分钟数差异 结束日期（我先在几秒钟内完成，然后除以 60 考虑到精度问题）。 我计算每一行这些分钟的累积总和。在外部查询中：
我将之前的累积分钟总和与当前每一行对齐 我筛选出满足 5 小时目标但 前几分钟显示前一行的 5 小时目标 没有满足。 然后我计算用户在当前行范围内的位置 遇见了5个小时，不仅到了约会的5个小时 目标已实现，但准确的时间。代码
with
numbers as (
select row_number() over (order by (select null)) i
from @activities -- where I put your data
),
mergeLines as (
select activity_client_id,
lines = geometry::UnionAggregate(line)
from @activities
cross apply (select
startP = geometry::Point(convert(float,activity_start_date), 0, 0),
stopP = geometry::Point(convert(float,activity_end_date), 0, 0)
) pointify
cross apply (select line = startP.STUnion(stopP).STEnvelope()) lineify
group by activity_client_id
),
redate as (
select client_id = activity_client_id,
activities_start_date,
activities_end_date,
minutes,
rollingMinutes = sum(minutes) over(
partition by activity_client_id
order by activities_start_date
rows between unbounded preceding and current row
)
from mergeLines ml
join numbers n on n.i between 1 and ml.lines.STNumGeometries()
cross apply (select line = ml.lines.STGeometryN(i).STEnvelope()) l
cross apply (select
activities_start_date = convert(datetime, l.line.STPointN(1).STX),
activities_end_date = convert(datetime, l.line.STPointN(3).STX)
) unprepare
cross apply (select minutes =
round(datediff(s, activities_start_date, activities_end_date) / 60.0,0)
) duration
)
select client_id,
activities_start_date,
activities_end_date,
met_5hr_goal = dateadd(minute, (60 * 5) - prevRoll, activities_start_date)
from (
select *,
prevRoll = lag(rollingMinutes) over (
partition by client_id
order by rollingMinutes
)
from redate
) ranker
where rollingMinutes >= 60 * 5
and prevRoll < 60 * 5;
【讨论】：
以上是关于SQL Server - 重叠数据的累积总和 - 获取总和达到给定值的日期的主要内容，如果未能解决你的问题，请参考以下文章