Spark做TPC-DS性能测试

Posted 2023-02-01 鸿乃江边鸟

背景

最近由于在做上云的工作，并且公司离线部分引擎是Spark，所以做了一次基于TPC-DS性能比对测试。
云上和云下的机器主要不同如下:

不同点	云上	云下
存储	OSS	HDFS
机器CPU	Intel® Xeon® Platinum 8269CY CPU @ 2.50GHz	Intel® Xeon® Gold 6226 CPU @ 2.70GHz

TPC-DS数据来源

进行TPCDS的数据来源需要我们自己生产，参考Spark Commiter和PMC的项目 spark-tpcds-datagen，具体的生产数据命令如下：

nohup ./bin/dsdgen --output-location /tmp/spark-tpcds-data --overwrite --scale-factor 600 --partition-tables --num-partitions 100 &>dsdgen.log &

生产了大约200GB的数据

TPC-DS的SQL来源

目前很多引擎都自带了TPC-DS的sql语句(如Trino，Spark)，目前我们参考Spark的提供的sql语句如下：
TPC-DS v1.4
TPC-DS v2.7

运行TPC-DS Benchemark

由于spark内置的TPCDSQueryBenchmark.scala里是local模式运行，所以我们得修改成如下：

vi  spark/sql/core/src/test/scala/org/apache/spark/sql/execution/benchmark/TPCDSQueryBenchmark.scala
  
  override def getSparkSession: SparkSession = 
    val conf = new SparkConf()
//      .setMaster("local[1]")
      .setAppName("test-sql-context")
//      .set("spark.sql.parquet.compression.codec", "snappy")
//      .set("spark.sql.shuffle.partitions", "4")
//      .set("spark.driver.memory", "3g")
//      .set("spark.executor.memory", "3g")
//      .set("spark.sql.autoBroadcastJoinThreshold", (20 * 1024 * 1024).toString)
//      .set("spark.sql.crossJoin.enabled", "true")

同时还得修改脚本spark-tpcds-datagen/bin/report-tpcds-benchmark，如下：

vi spark-tpcds-datagen/bin/report-tpcds-benchmark
\\\\ 删除以下四个配置
--conf spark.ui.enabled=false          \\
  --conf spark.master=local[1]           \\
  --conf spark.driver.memory=60g         \\
  --conf spark.sql.shuffle.partitions=32 \\

用如下命令进行测试

nohup ./bin/report-tpcds-benchmark /tmp/spark-tpcds-data /tmp/benchmark-result &> benchmark.log &

结果

这里结果就不贴出来了，作图的工具可以参考：tubiaoxiu
其他有意思的文章如下:
dsdgen
tpcds-kit
warehouse-performance-record