来自 Power Query 的 Power BI Desktop 增量表更新

Posted

技术标签:

【中文标题】来自 Power Query 的 Power BI Desktop 增量表更新【英文标题】:Power BI Desktop incremental table update from Power Query 【发布时间】:2015-12-21 15:16:11 【问题描述】:

我从第三方 REST API 收集数据,该 API 有数千条记录,但每天都会更新更多记录,因此刷新我的数据源成为一项漫长的任务。所以我想知道是否有任何方法可以进行增量加载,并且只从 API 中抓取过去 30 天的数据并将其附加到 PowerBI Desktop 中的表中。

我研究了追加查询功能,但这似乎只能加入 2 个查询并返回一个表,最终会遇到与追加查询会随着时间变得非常大的相同问题。

我真正想要的是一种在 PowerBI 中创建一个表的方法,然后在每次查询刷新时更新该表。有没有人看到这是否可能?

任何帮助都会很棒,谢谢。

【问题讨论】:

【参考方案1】:

我会将其分为两个过程:

    Excel Power Query 从 REST API 中提取所有历史数据(例如,过滤为“上个月之前”,每月刷新),传送到 Excel 表格中。 Power BI 查询,通过 REST API 将存储的 Excel 历史数据与最近的数据相附加。

我会在 Excel 和 Power BI 中保持针对 REST API 的起始查询相同,因此可以轻松维护它。然后您可以将其引用到另一个应用所需特定日期过滤器的查询中。

【讨论】:

感谢您的回复,我希望我可以在 PowerBI 中完成这一切,但看起来这可能是我要走的路,干杯。【参考方案2】:

我也有一个类似的环境,使用 Excel 构建 Power Query,然后将 .xls 文件导入 PowerBI (PBI) 桌面,但这涉及生成一个新的 .pbix 文件并丢失之前完成的所有开发。 所以现在我明白了,当您说在两个应用程序中保持查询相同时(1:Excel 和 2:PBI)。 当然,MS PBI 团队可以为 PBI 中的查询(查询数据目录)提出某种形式的集中源代码控制。

【讨论】:

以上是关于来自 Power Query 的 Power BI Desktop 增量表更新的主要内容,如果未能解决你的问题,请参考以下文章

Power BI Python 在Power BI Desktop中Python代码如何使用Power Query数据

Power-BI:在数据区添加列或在 Power-Query 中添加列

Power BI 中的 Power Query 帮助

在 Power Query 中调用 Power BI API

Power BI Power Query 排名1 非连续排名

power BI-数据处理(跟power query几乎一样)