Spark 学习笔记之 MONGODB SPARK CONNECTOR 插入性能测试
Posted AK47Sonic
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 学习笔记之 MONGODB SPARK CONNECTOR 插入性能测试相关的知识，希望对你有一定的参考价值。
MONGODB SPARK CONNECTOR
测试数据量：
测试结果：
116万数据通过4个表的join，从SQL Server查出，耗时1分多。MongoSparkConnector插入平均耗时：3分30秒。
总计耗时4分半-5分钟。
以上是关于Spark 学习笔记之 MONGODB SPARK CONNECTOR 插入性能测试的主要内容，如果未能解决你的问题，请参考以下文章
Spark 学习笔记之 Spark history Server 搭建
Spark 学习笔记之 distinct/groupByKey/reduceByKey