自定义日期范围查询,用于从大查询中将数据摄取到数据工作室

Posted

技术标签:

【中文标题】自定义日期范围查询,用于从大查询中将数据摄取到数据工作室【英文标题】:Custom date range query for ingesting data to data studio from big query 【发布时间】:2020-05-10 23:05:49 【问题描述】:

我正在尝试通过将数据从 bigquery 提取到数据工作室来为我的组织创建 GCP 计费报告。一般来说,对于 sql 编程来说相当新,我使用以下查询来可视化数据工作室中的数据。

SELECT
  project.name AS project,
  EXTRACT(MONTH FROM usage_start_time) AS month,
  ROUND(SUM(cost), 2) AS costs,
  ROUND(SUM((SELECT SUM(amount) FROM UNNEST(credits))), 2) AS credits
FROM `bqutil.billing.billing_dashboard_export`
GROUP BY project, month
ORDER by project, month

现在,我想添加自定义日期范围,以便观众可以使用它来获取所需的报告。但是,DS 中提供的默认自定义范围不起作用。我来自系统管理员背景,通常对 bigquery 和 sql 很陌生。任何有关查询的帮助将不胜感激。

谢谢

【问题讨论】:

“DS 中提供的默认自定义范围不起作用” - 为什么不起作用?您希望获得什么范围? 您能否详细说明一下,为什么它不起作用?您是否检查过 this documentation's topic 关于在 Data Studio 中设置日期范围的信息? 例如,我在datastudio.google.com/u/0/reporting/… 更改了此报告的数据源,当我尝试更改日期时,它适用于饼图和图表,但不适用于表格。请帮忙。对数据工作室和大查询来说非常新。 在“项目成本”页面中,我将日期过滤器更改为几个不同的范围,并且每次所有视图(表格、图表和饼图)都更新并具有一致的数据.您能以我们可以跟进的方式复制您的问题来帮助我们吗? 【参考方案1】:

我进行了一些测试,发现了您无法按日期过滤数据的原因。

由于您使用的数据集是公开的,因此我可以使用它来执行您的目标。我将描述实现它的步骤:

    转到数据 Studio >创建(控制台左上角)>数据源 点击 BigQuery 点击自定义查询(窗口左侧) 在输入自定义查询(在窗口右侧)下的查询编辑器中键入您的查询 在屏幕右上角点击连接 单击FIELDS 并检查所有字段是否具有适当的类型。请仔细检查日期字段,它必须是日期格式 创建一个包含所需字段的表。就我而言,我使用了两个具有以下特征的表:

表 1:

数据来源: BigQuery

日期范围维度:月 - 请不要忘记此字段

维度:项目、学分和月份

指标: SUM(成本)

第一类:

第二类:成本

还有一张桌子:

表 2:热图

数据来源:BigQuery

日期范围维度:月 - 请不要忘记此字段

尺寸:​​m>项目

指标: COUNT(项目)、AVG(成本)、MIN(成本)、MAX(成本)

第一类:成本

    如上所述配置表格后,单击工具栏(画布上方)中的日期范围过滤器。把它放在你的画布上 现在相应地更改日期,值应该会更改

我发现当日期范围维度 未设置为您要按日期过滤的表格中的数据字段时,日期过滤器不起作用。

此外,我还使用以下查询来测试日期范围过滤器。以下是查询:

SELECT
project.name AS project,
cast(FORMAT_TIMESTAMP("%Y-%m-%d" , usage_start_time) as date) AS start_date,
ROUND(SUM(cost), 2) AS costs,
ROUND(SUM((SELECT SUM(amount) FROM UNNEST(credits))), 2) AS credits
FROM `bqutil.billing.billing_dashboard_export`
GROUP BY project, start_date
ORDER by project, start_date

请注意,我刚刚将 month 字段更改为 start_date 为 YYYYMMDD。

【讨论】:

以上是关于自定义日期范围查询,用于从大查询中将数据摄取到数据工作室的主要内容,如果未能解决你的问题,请参考以下文章

在 ASP.NET Core MVC 中将自定义查询参数添加到操作 URL

用于嵌套自定义对象的石墨烯解析器

power查询自定义动态日期参数

sql 查询时间、日期范围内的数据

Jooq java api,在选择查询中将日期时间转换为时区

按自定义日期范围输入过滤 wordpress 帖子