自定义日期范围查询,用于从大查询中将数据摄取到数据工作室
Posted
技术标签:
【中文标题】自定义日期范围查询,用于从大查询中将数据摄取到数据工作室【英文标题】:Custom date range query for ingesting data to data studio from big query 【发布时间】:2020-05-10 23:05:49 【问题描述】:我正在尝试通过将数据从 bigquery 提取到数据工作室来为我的组织创建 GCP 计费报告。一般来说,对于 sql 编程来说相当新,我使用以下查询来可视化数据工作室中的数据。
SELECT
project.name AS project,
EXTRACT(MONTH FROM usage_start_time) AS month,
ROUND(SUM(cost), 2) AS costs,
ROUND(SUM((SELECT SUM(amount) FROM UNNEST(credits))), 2) AS credits
FROM `bqutil.billing.billing_dashboard_export`
GROUP BY project, month
ORDER by project, month
现在,我想添加自定义日期范围,以便观众可以使用它来获取所需的报告。但是,DS 中提供的默认自定义范围不起作用。我来自系统管理员背景,通常对 bigquery 和 sql 很陌生。任何有关查询的帮助将不胜感激。
谢谢
【问题讨论】:
“DS 中提供的默认自定义范围不起作用” - 为什么不起作用?您希望获得什么范围? 您能否详细说明一下,为什么它不起作用?您是否检查过 this documentation's topic 关于在 Data Studio 中设置日期范围的信息? 例如,我在datastudio.google.com/u/0/reporting/… 更改了此报告的数据源,当我尝试更改日期时,它适用于饼图和图表,但不适用于表格。请帮忙。对数据工作室和大查询来说非常新。 在“项目成本”页面中,我将日期过滤器更改为几个不同的范围,并且每次所有视图(表格、图表和饼图)都更新并具有一致的数据.您能以我们可以跟进的方式复制您的问题来帮助我们吗? 【参考方案1】:我进行了一些测试,发现了您无法按日期过滤数据的原因。
由于您使用的数据集是公开的,因此我可以使用它来执行您的目标。我将描述实现它的步骤:
-
转到数据 Studio >创建(控制台左上角)>数据源
点击 BigQuery
点击自定义查询(窗口左侧)
在输入自定义查询(在窗口右侧)下的查询编辑器中键入您的查询
在屏幕右上角点击连接
单击FIELDS 并检查所有字段是否具有适当的类型。请仔细检查日期字段,它必须是日期格式
创建一个包含所需字段的表。就我而言,我使用了两个具有以下特征的表:
表 1:
数据来源: BigQuery
日期范围维度:月 - 请不要忘记此字段
维度:项目、学分和月份
指标: SUM(成本)
第一类:月
第二类:成本
还有一张桌子:
表 2:热图
数据来源:BigQuery
日期范围维度:月 - 请不要忘记此字段
尺寸:m>项目
指标: COUNT(项目)、AVG(成本)、MIN(成本)、MAX(成本)
第一类:成本
-
如上所述配置表格后,单击工具栏(画布上方)中的日期范围过滤器。把它放在你的画布上
现在相应地更改日期,值应该会更改
我发现当日期范围维度 未设置为您要按日期过滤的表格中的数据字段时,日期过滤器不起作用。
此外,我还使用以下查询来测试日期范围过滤器。以下是查询:
SELECT
project.name AS project,
cast(FORMAT_TIMESTAMP("%Y-%m-%d" , usage_start_time) as date) AS start_date,
ROUND(SUM(cost), 2) AS costs,
ROUND(SUM((SELECT SUM(amount) FROM UNNEST(credits))), 2) AS credits
FROM `bqutil.billing.billing_dashboard_export`
GROUP BY project, start_date
ORDER by project, start_date
请注意,我刚刚将 month 字段更改为 start_date 为 YYYYMMDD。
【讨论】:
以上是关于自定义日期范围查询,用于从大查询中将数据摄取到数据工作室的主要内容,如果未能解决你的问题,请参考以下文章
在 ASP.NET Core MVC 中将自定义查询参数添加到操作 URL