ADF 管道加载几个表后,自托管集成运行时超时

Posted

技术标签:

【中文标题】ADF 管道加载几个表后,自托管集成运行时超时【英文标题】:Self-Hosted Integration Runtime times out after ADF pipeline loads a few tables 【发布时间】:2022-01-10 02:52:19 【问题描述】:

我最近为托管 Access DB 的本地服务器安装了集成运行时。想法是从中提取数据并存储在 Azure SQL DB 中。我做了以下事情:

    集成运行时服务安装在托管 MS Access DB 的本地计算机上并使用 ODBC 连接到它 在 ADF 中创建链接服务以连接到数据库 为所需的每个表的源数据库和目标数据库创建数据集。一个用于源 msaccess,一个用于 azure sql db 中的目标 创建了一个管道,将数据从源复制到步骤 #3 中提到的 asql db 中

基本上,所有连接都有效,但是当我触发管道加载大约 10 个这些表时,它会运行并加载前两个表,然后由于超时而失败。我必须每次都重新启动集成运行时以使其备份并运行,否则我将无法再查询表。

为了缓解这种情况,我认为流量过多,并且服务器需要在调用之间休息,所以我在管道的每个步骤之间添加了等待计时器,但没有太大成功。这确实有点帮助,但这可能是巧合。

在失败的步骤中监视器中的错误日志是: 错误:2200 ErrorCode=UserErrorFailedToConnectOdbcSource,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=,Source=Microsoft.DataTransfer.Runtime.GenericOdbcConnectors,''Type=System.Data.Odbc.OdbcException,Message=,Source=,'

顺便说一句,运行的集成运行时安装服务是 5.12.7984.1,安装的访问版本是通过 office 365 x64。确切的 MS 访问驱动程序是 16.14430.20006。操作系统是 Windows Server 2019

【问题讨论】:

基本上它似乎与表的大小无关。下一步发生的速度有多快似乎把它搞砸了。如果我在处理下一张桌子之前等待足够长的时间,我认为它确实有效。我只是不确定它需要多少时间。 这是管道外观的一部分:pasteboard.co/0lF9yPFSKzAb.png 你能解决这个问题吗?我遇到了完全相同的问题。 【参考方案1】:

我得到了完全相同的错误。首先,我确实检查了事件查看器日志,并发现了一些与访问有关的错误。因此,我为运行 IR 的用户提供了对注册表项/常规登录作为服务权限的更多访问权限。这有点帮助,但我仍然遇到同样的问题。

【讨论】:

以上是关于ADF 管道加载几个表后,自托管集成运行时超时的主要内容,如果未能解决你的问题,请参考以下文章

“创建管道时出错。”在 Azure 管道自托管代理中运行 powershell 脚本时

Synapse / 数据工厂:自托管集成运行时是不是在本地公开数据

ADF 成功运行,但未插入任何行

集成运行时内存不足 ADF

GitLab CI 管道阶段超时

已检测到不适用于集成托管管道模式的 ASP.NET 设置。(该项目甚至不在本地运行)