spark

Posted 2020-09-09 人生，唯有锻炼与读书不能辜负

一、 spark 2  版本 相对于以前版本的变化

    spark core  ：

                  Accumulators (累加器)：性能更好，页面上也可以看到累加器的信息

     spark sql: 

             1、

             2、DataSet(合并了之前的dataFrame)

                  spark 2 里面没有dataframe了，dataframe只是dataset的一部分

            3、对sql语句的支持更好

                在spark 1.x的时候是不支持子查询。但是spark2 的时候可以了

            

二、spark 为什么由 1  升级到 2