Spark函数式编程进阶

Posted 2020-10-06

tags:

函数式编程进阶

1、函数和变量一样作为Scala语言的一等公民，函数可以直接复制给变量；

2、函数更长用的方式是匿名函数，定义的时候只需要说明输入参数的类型和函数体即可，不需要名称，但是匿名函数赋值给一个变量（其实是val常量），Spark源码中大量存在这种语法；

3、函数可以作为参数直接传递给函数，这极大地简化的编程语法；

4、函数式编程一个非常强大的地方之一在于函数的返回值可以是函数,当函数的返回类型是函数的时候，这个时候就是表明Scala的函数是实现了闭包！

Scala壁报的内幕是：Scala的函数背后是类和对象，所以，Scala的参数都做为了对象的成员！所以后续可以继续访问

5、Currying，复杂的函数式编程中经常使用，可以维护变量在内存中的状态，且实现返回函数的链式功能，可以实现非常复杂的算法和逻辑；

1）以前java的防暑是new出一个接口实例，并且在接口实例的同调方法callback中来实现业务逻辑，现在是直接把同调方法callback传递给我的函数，且在函数体中直接使用，这毫无疑问的简化代码的编写，提升了开发的效率；

2）这种方式非常方便编写负责的业务逻辑和控制逻辑，对于图计算，计算机学习，深度学习等至关重要；

函数作为函数的参数传递的编程方式是称之为高阶函数的编程方式，Spark源码和应用程序开发至少60%都是这种代码！

object functionalProgramming{

//1、函数和变量一样作为Scala语言的一等公民，函数可以直接复制给变量

def mian（args：Array【String】）；Unit={

val hiData = hiBigData -

hiDAta("Spark")

val f = (name:String)=>println("Hi,"+name)

f("Kafka")

def getName(func:(String)=>Unit,name:String){

func(name)

}

getName(f,"Scala")

Array(1 to 10: *).map{(item:Int)=>2*item}.foreach{x=>println(x)}

def funResult(message:String) = (name:String)=>println(message +":"+name)

funcResult("Hello")("Java")

val result=funcResult("Hello")

result("Java")

}

def hiBIgData(name:String){

println("Hi,"+name)

}

 

 

 

 

.