使用 SSIS 和 CData 从 Sql Server 到 Elasticsearch 的数据传输

Posted

技术标签:

【中文标题】使用 SSIS 和 CData 从 Sql Server 到 Elasticsearch 的数据传输【英文标题】:Data Transfer from Sql Server to Elasticsearch with SSIS and CData 【发布时间】:2021-04-06 07:31:26 【问题描述】:

我正在尝试使用 CData Elasticsearch Destination 工具通过 SSIS(Microsoft SQL Server 集成服务)应用程序将数据从 Sql Server 传输到 Elasticsearch .

我现在成功了。

我使用 SSIS 从 Sql Server 获取数据。 使用 SSIS,我从 Elasticsearch 集群获取索引名称。

但是当我尝试将数据从 Sql Server 发送到 Elasticsearch 集群时。我收到此错误消息

SSIS 包“c:\users...\visual studio 2015\Projects\Integration 服务项目 2\集成服务项目 2\Package.dtsx" 开始。信息:数据流任务中的 0x4004300A,SSIS.Pipeline: 验证阶段开始。错误:0xC001000E 在包: 未找到连接“D7065178-0114-46AA-ABF5-5D21C91A7582”。这 特定连接时 Connections 集合会引发错误 未找到元素。

错误:0xC004800B 在数据流任务,SSIS.Pipeline:找不到 ID 为“D7065178-0114-46AA-ABF5-5D21C91A7582”的连接管理器 由于错误代码 0xC0010009 导致的连接管理器集合。那 “CData Elasticsearch 需要连接管理器 Destination.Connections[Elasticsearch 2020 Connection]”中 “CData Elasticsearch Destination”的连接管理器集合。 验证连接管理器集合中的连接管理器, 已使用该 ID 创建连接。

错误:0xC0047017 在数据流任务,SSIS.Pipeline:CData Elasticsearch Destination 验证失败并返回错误代码 0xC004800B。错误:数据流任务中的 0xC004700C,SSIS.Pipeline:一或 更多组件验证失败。错误:0xC0024107 在数据流任务: 任务验证期间出现错误。 SSIS 包 “c:\users...\visual studio 2015\Projects\Integration Services Project2\Integration Services Project2\Package.dtsx" 完成: 失败。程序 '[8508] DtsDebugHost.exe: DTS' 已退出 代码 0 (0x0)。

【问题讨论】:

好像是连接问题,包找不到连接细节。包是如何执行的(通过使用 SQL Server 代理作业或其他方式)?你能分享一些关于包的截图,ssis项目结构和你执行包的方式。 【参考方案1】:

我从 Sample Project Property Page > Debugging 更改了 Run64BitRuntime True 并解决了问题。这里是 image

【讨论】:

以上是关于使用 SSIS 和 CData 从 Sql Server 到 Elasticsearch 的数据传输的主要内容,如果未能解决你的问题,请参考以下文章

使用 SQL Server Integration Services (SSIS) 加载数据、键和索引

是否可以从SSIS源动态创建表

如何在 SSIS 包中使用变量和 SQL 代码?

使用 ssis 从 SQL Server 表复制到 Oracle 11g

SSIS - 将数据从 Excel 导出到 sql 表

使用 SSIS 脚本任务将数据从多个 SQL 表导出到不同的平面文件