ADF 管道加载几个表后,自托管集成运行时超时
Posted
技术标签:
【中文标题】ADF 管道加载几个表后,自托管集成运行时超时【英文标题】:Self-Hosted Integration Runtime times out after ADF pipeline loads a few tables 【发布时间】:2022-01-10 02:52:19 【问题描述】:我最近为托管 Access DB 的本地服务器安装了集成运行时。想法是从中提取数据并存储在 Azure SQL DB 中。我做了以下事情:
-
集成运行时服务安装在托管 MS Access DB 的本地计算机上并使用 ODBC 连接到它
在 ADF 中创建链接服务以连接到数据库
为所需的每个表的源数据库和目标数据库创建数据集。一个用于源 msaccess,一个用于 azure sql db 中的目标
创建了一个管道,将数据从源复制到步骤 #3 中提到的 asql db 中
基本上,所有连接都有效,但是当我触发管道加载大约 10 个这些表时,它会运行并加载前两个表,然后由于超时而失败。我必须每次都重新启动集成运行时以使其备份并运行,否则我将无法再查询表。
为了缓解这种情况,我认为流量过多,并且服务器需要在调用之间休息,所以我在管道的每个步骤之间添加了等待计时器,但没有太大成功。这确实有点帮助,但这可能是巧合。
在失败的步骤中监视器中的错误日志是: 错误:2200 ErrorCode=UserErrorFailedToConnectOdbcSource,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=,Source=Microsoft.DataTransfer.Runtime.GenericOdbcConnectors,''Type=System.Data.Odbc.OdbcException,Message=,Source=,'
顺便说一句,运行的集成运行时安装服务是 5.12.7984.1,安装的访问版本是通过 office 365 x64。确切的 MS 访问驱动程序是 16.14430.20006。操作系统是 Windows Server 2019
【问题讨论】:
基本上它似乎与表的大小无关。下一步发生的速度有多快似乎把它搞砸了。如果我在处理下一张桌子之前等待足够长的时间,我认为它确实有效。我只是不确定它需要多少时间。 这是管道外观的一部分:pasteboard.co/0lF9yPFSKzAb.png 你能解决这个问题吗?我遇到了完全相同的问题。 【参考方案1】:我得到了完全相同的错误。首先,我确实检查了事件查看器日志,并发现了一些与访问有关的错误。因此,我为运行 IR 的用户提供了对注册表项/常规登录作为服务权限的更多访问权限。这有点帮助,但我仍然遇到同样的问题。
【讨论】:
以上是关于ADF 管道加载几个表后,自托管集成运行时超时的主要内容,如果未能解决你的问题,请参考以下文章
“创建管道时出错。”在 Azure 管道自托管代理中运行 powershell 脚本时