如何检查 cassandra 与 pentaho 数据集成器的连接
Posted
技术标签:
【中文标题】如何检查 cassandra 与 pentaho 数据集成器的连接【英文标题】:How to check connection of cassandra with pentaho data integrator 【发布时间】:2016-01-06 14:05:30 【问题描述】:我正在尝试使用 Pentaho Data Integration 5.1(社区版)将数据从 Oracle 表加载到 Cassandra 表。但我不知道是否在 oracle 和 cassandra 之间建立了连接。我正在使用 Cassandra 2.2.3 和 Oracle 11gR2。 我在数据集成的 lib 文件夹中添加了以下 jar --cassandra-thrift-1.0.0 --apache-cassandra-cql-1.0.0 --libthrift-0.6.jar --guava-r08.jar --cassandra_driver.jar 请任何人都可以帮助我弄清楚如何检查 Pentaho 中是否已建立连接。
【问题讨论】:
请使用 cassandra 1.2.X ,它不适用于任何更高版本的 cassandra。例如:2.0.X 或 3.0.X。这是 pentaho 网站本身的一个开放错误。你可以谷歌一下,你就能找到那个打开的错误链接。 【参考方案1】:如果与数据库建立连接,有一些方法可以调试,我不知道它们是否都对 cassandra 有效,但我会为此添加一个特别的方法。
1) 测试按钮
只需单击连接编辑屏幕上的测试按钮。
2) 详细的日志可能会有所帮助
另一种测试方法是使用high detail log 运行转换:
sh pan.sh -file=my_cassandra_transformation.ktr -level=Rowlevel
3) 输入预览
对于 cassandra,特别是,我会尝试使用 Cassandra 输入步骤并单击“预览”按钮创建一个简单的读取操作。
4) 受控输出测试
或者您可以先尝试更简单的转换,以确保它运行良好。例如。
【讨论】:
感谢您的解决方案,我会尝试这些解决方案 MrMauric ioLeite 我使用 Cassandra 输出组件尝试了第 4 种解决方案,但现在出现以下错误:InvalidRequestException (why:Undefined name column_aliases in selection Clause) hummm 似乎是一个新错误。这很好,它至少表明了进步。 =)看看这个链接,他们似乎有类似的问题并找到了解决方案:forums.pentaho.com/… 据我所知,从 cassandra 2.0.1 开始,pentaho 支持直到 1.2.8 版本,cassandra 已经改变了元数据结构,而 pentaho 仍然没有实现。 @MrMauricioLeite 如果我错了,请纠正我。 是的,这是真的 pentaho 只支持 2.0 版本。我已经尝试使用 cassandra 版本 2.0.14 并创建了连接并将数据从 oracle 表传输到 cassandra。以上是关于如何检查 cassandra 与 pentaho 数据集成器的连接的主要内容,如果未能解决你的问题,请参考以下文章
如何使用 Pentaho 验证一个 csv 数据与另一个 csv 文件的比较?
Pentaho 框架尺寸 (17727647) 大于最大长度 (16384000)!