spark
Posted snow-wolf-1
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark相关的知识，希望对你有一定的参考价值。
计算圆周率
# bin/spark-submit --class org.apache.spark.examples.SparkPi --executor-memory 1G --total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.3.3.jar 100
wordcount
sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
输出
res3: Array[(String, Int)] = Array((scala,2), ("",1), (object,1), (is,1), (python,3), (hello,4), (java,3), (go,1), (and,1))
以上是关于spark的主要内容，如果未能解决你的问题，请参考以下文章
spark关于join后有重复列的问题（org.apache.spark.sql.AnalysisException: Reference '*' is ambiguous）(代码片段