spark sql连接greenplum验证结果
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark sql连接greenplum验证结果相关的知识,希望对你有一定的参考价值。
1.当container=10,partition个数为60,core=2时:
Greenplum的并发查询为20个,CPU高达90%以上
greenplum:
2.当partition=1时,只有一个container从gp取得数据
greenplum的CPU属于正常范围。
3.当减少并行度时,container=5,core=2,partition=40
GP的CPU最高为70%。
结论:GP对于并发查询的效率不高。
以上是关于spark sql连接greenplum验证结果的主要内容,如果未能解决你的问题,请参考以下文章
[GreenPlum] -> 使用JDBC连接GreenPlum数据库
Greenplum Spark Connector org.postgresql.util.PSQLException: ERROR: error when writing data to gpfdi
如何在没有 Only 的情况下生成 spark sql 截断查询
Greenplum-Spark-Connector java.util.NoSuchElementException: None.get