sparksql---通过pyspark实现

Posted 2020-08-02

上次在spark的一个群里面，众大神议论：dataset会取代rdd么？

大神1：听说之后的mlib都会用dataset来实现，呜呜，rdd要狗带

大神2：dataset主要是用来实现sql的，跟mlib没多大关系，你们说为什么要用dataset呢？

大神3：因为老板喜欢。-------在市场上找一个会写sql和会做spark开发是两个工资等级，两个字“省钱”。

结论：上面的说的东西确实是如此，很多时候我们看到的结果其实某种程度都是市场选择的结果。

-------------------------------------------------------------------------------华丽的分割线-------------------------------------------

以我自己了解sparksql的学习方法，我更倾向于首先实现它，然后再了解具体的原理，however,对于sparksql的数据类型还是要首先理解下，不然之后做的事情可能都做不了。

sparksql里面的类：

这些都在：http://spark.apache.org/docs/1.3.1/api/python/pyspark.sql.html#pyspark.sql 

重点说下SQLContext这个就是一个装dataframe的容器，datafram就相当于一张表,Row格式是经常用到；

其他的大家可以去网上了解下：dataframe/rdd的区别于联系，目前mlib大多是用rdd写出来的；

以下给出一个用pyspark写出来的列子：

###first table
from pyspark.sql import SQLContext,Row
ccdata=sc.textFile("/home/srtest/spark/spark-1.3.1/examples/src/main/resources/cc.txt")
ccpart = ccdata.map(lambda le:le.split(","))  ##我的表是以逗号做出分隔
cc1=ccpart.map(lambda p:Row(sid=p[0],age=int(p[1]),yz=p[2],yf=p[3],yc=p[4],hf=p[5],hk=p[6])) ####这就是将数据变成ROW的格式，另外确定数据类型
schemacc1=sqlContext.createDataFrame(cc1)#######源码中createDataframe(ROW,schema),所以如果上步没有转化成ROW是无法完成转化成dataframe
schemacc1.registerTempTable("cc1")#############注册临时表
xx=sqlContext.sql(" SELECT * FROM cc1 WHERE age=20 ") ########直接用写sql就能实现表的运算

point1:说了上面的例子，大家会有可能用到IN，exist这样的关系时，目前2.0版本一下的spark是不支持in,exist.到了2.0后你想怎么折腾都可以；

那么有人肯定会问，如果要用到in，exist，怎么办，我只能说多建张表，用join实现；

point2:下篇博客，我打算直接不用注册成表，直接用dataframe来实现sql