Spark函数式编程进阶

Posted

这才是真

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark函数式编程进阶相关的知识,希望对你有一定的参考价值。

函数式编程进阶

1、函数和变量一样作为Scala语言的一等公民,函数可以直接复制给变量;

2、函数更长用的方式是匿名函数,定义的时候只需要说明输入参数的类型和函数体即可,不需要名称,但是匿名函数赋值给一个变量(其实是val常量),Spark源码中大量存在这种语法;

3、函数可以作为参数直接传递给函数,这极大地简化的编程语法;

4、函数式编程一个非常强大的地方之一在于函数的返回值可以是函数,当函数的返回类型是函数的时候,这个时候就是表明Scala的函数是实现了闭包!

Scala壁报的内幕是:Scala的函数背后是类和对象,所以,Scala的参数都做为了对象的成员!所以后续可以继续访问

5、Currying,复杂的函数式编程中经常使用,可以维护变量在内存中的状态,且实现返回函数的链式功能,可以实现非常复杂的算法和逻辑;

1)以前java的防暑是new出一个接口实例,并且在接口实例的同调方法callback中来实现业务逻辑,现在是直接把同调方法callback传递给我的函数,且在函数体中直接使用,这毫无疑问的简化代码的编写,提升了开发的效率;

2)这种方式非常方便编写负责的业务逻辑和控制逻辑,对于图计算,计算机学习,深度学习等至关重要;

函数作为函数的参数传递的编程方式是称之为高阶函数的编程方式,Spark源码和应用程序开发至少60%都是这种代码!

object functionalProgramming{

//1、函数和变量一样作为Scala语言的一等公民,函数可以直接复制给变量

def mian(args:Array【String】);Unit={

val hiData = hiBigData -

hiDAta("Spark")

val f = (name:String)=>println("Hi,"+name)

f("Kafka")

def getName(func:(String)=>Unit,name:String){

func(name)

}

getName(f,"Scala")

Array(1 to 10: *).map{(item:Int)=>2*item}.foreach{x=>println(x)}

def funResult(message:String) = (name:String)=>println(message +":"+name)

funcResult("Hello")("Java")

val result=funcResult("Hello")

result("Java")

}

def hiBIgData(name:String){

println("Hi,"+name)

}

 

 

 

 

.

以上是关于Spark函数式编程进阶的主要内容,如果未能解决你的问题,请参考以下文章

Python进阶学习——函数式编程

Python进阶-函数式编程

python进阶-- 01 函数式编程

Python进阶之函数式编程

Spark的函数式编程

前端基础进阶:函数与函数式编程