pyspark基础知识点

Posted 2020-11-24 tianqizhi

1. 查

1.1 行元素查询操作 

像SQL那样打印列表前20元素，show函数内可用int类型指定要打印的行数：

df.show()
df.show(30)

以树的形式打印概要：

df.printSchema()

获取头几行到本地：　

list = df.head(3) # Example: [Row(a=1, b=1), Row(a=2, b=2), ... ...]
list = df.take(5) # Example: [Row(a=1, b=1), Row(a=2, b=2), ... ...]

查询总行数：　　

df.count()

查询某列为null的行：

from pyspark.sql.functions import isnull
df = df.filter(isnull("col_a"))

输出list类型，list中每个元素是Row类：

list = df.collect()#注：此方法将所有数据全部导入到本地，返回一个Array对象

查询概况

df.describe().show()

去重set操作，跟py中的set一样，可以distinct()一下去重，同时也可以.count()计算剩余个数

data.select(‘columns‘).distinct().show()

随机抽样有两种方式，一种是在HIVE里面查数随机；另一种是在pyspark之中

#HIVE里面查数随机
sql = "select * from data order by rand() limit 2000"

#pyspark之中
sample = result.sample(False,0.5,0) # randomly select 50% of lines

1.2 列元素操作

获取Row元素的所有列名：　

r = Row(age=11, name=‘Alice‘)
print(r.columns) # [‘age‘, ‘name‘]

 

选择一列或多列：select

df["age"]
df.age
df.select(“name”)
df.select(df[‘name’], df[‘age’]+1)
df.select(df.a, df.b, df.c) # 选择a、b、c三列
df.select(df["a"], df["b"], df["c"]) # 选择a、b、c三列

重载的select方法：　

#同时显示id列 、id + 1列
jdbcDF.select(jdbcDF( "id" ), jdbcDF( "id") + 1 ).show( false)

#还可以用where按条件选择
jdbcDF.where("id = 1 or c1 = ‘b‘" ).show()

1.3 排序　　

orderBy和sort：按指定字段排序，默认为升序

train.orderBy(train.Purchase.desc()).show(5)

1.4 抽样

sample是抽样函数

t1 = train.sample(False, 0.2, 42)
t2 = train.sample(False, 0.2, 43)
t1.count(),t2.count()
Output:
(109812, 109745)

　　withReplacement = True or False代表是否有放回。fraction = x, where x = .5，代表抽取百分比

2.增、改 

2.1 新建数据 

有这么两种常规的新建数据方式：createDataFrame、.toDF()

sqlContext.createDataFrame(pd.dataframe())#是把pandas的dataframe转化为spark.dataframe格式，所以可以作为两者的格式转化


from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
from pyspark import sql

conf = SparkConf().setAppName("myFirstApp").setMaster("local")
sc = SparkContext(conf=conf)
sqlContext = sql.SQLContext(sc)

a = sc.parallelize([[1, "a"], [2, "b"], [3, "c"], [4, "d"], [5, "e"]]).toDF([‘ind‘, "state"])

a.show()

　　

参考：https://blog.csdn.net/sinat_26917383/article/details/80500349