spark sql连接greenplum验证结果

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark sql连接greenplum验证结果相关的知识,希望对你有一定的参考价值。

 

1.当container=10,partition个数为60,core=2时:

Greenplum的并发查询为20个,CPU高达90%以上技术分享

greenplum:

技术分享

 

 

2.当partition=1时,只有一个container从gp取得数据

技术分享技术分享

greenplum的CPU属于正常范围。

 

3.当减少并行度时,container=5,core=2,partition=40

技术分享

GP的CPU最高为70%。

结论:GP对于并发查询的效率不高。

以上是关于spark sql连接greenplum验证结果的主要内容,如果未能解决你的问题,请参考以下文章

[GreenPlum] -> 使用JDBC连接GreenPlum数据库

Greenplum Spark Connector org.postgresql.util.PSQLException: ERROR: error when writing data to gpfdi

如何在没有 Only 的情况下生成 spark sql 截断查询

python连接greenplum_postgresql

Greenplum 并行下载转储到本地集群

Greenplum-Spark-Connector java.util.NoSuchElementException: None.get