技术浅谈MapReduce 与函数式编程

Posted 程序员交流学习

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了技术浅谈MapReduce 与函数式编程相关的知识,希望对你有一定的参考价值。

MapReduce 的抽象受到LIsp和其他函数式语言你中的map和reduce原语的启发。map和reduce(fold)函数都是属于在函数式编程语言中的高阶函数。map函数的功能是接受一个列表list以及一个函数,将这个函数作用于这个列表中的所有成员,并返回所得结果。例如,下述函数将括号中的三个数每个加一:

map(+1)[1,2,3]

这个表达式的输出结果是[2,3,4]。

而fold函数的功能则是接收一个列表、一个初始值以及一个函数,将该函数作为特定的组合方式,将其递归地应用于列表的所有成员,并返回最终结果,比如,下述函数计算0+1+2+3的和:

fold(+)0[1,2,3]

其具体的操作流程是(((0+1)+2)+3),并最终返回其总和。同样,也可以用fold求一个列表的所有元素之积:

fold(*)1[1,2,3]

还继续用上面统计单词次数的例子,MapReduce计算模型里的map函数实际上相当于下述函数式编程语言的语句:

map(f)[<k1,v1>,<k2,v2>,<k3,v3>,...]

其中f为用户实现的mapper函数里的操作,所以我们可以看出,它本质上就是函数式编程中的map函数合成的操作。

让我们用Haskell的例子说明reduce函数,其功能就是分别求若干个数组中数字的积:

Prelude> let a=[[1,2,3],[4,5,6],[7,8,9],[10,11,12]]

Prelude> map(foldr(*)1)a

[6,120,504,1320]

作为类比,可以把MapReduce计算模型里的reduce抽象成下述形式,根据键将键值对分组,然后分别计算:

let Internediate=[[<k1,v1>,<k1,v2>,<k1,v3>...],[<k2,v1>,<k2,v2>,<k2,v3>...]...]

map(reduce(f)[])Intermediate

只不过这里,map步骤是由partitioner来实现分发不同键组的动作,而实际上对于每一个reducer来说,它的工作方式正像是函数式编程里的reducer一样,对每一个键值组采用用户写的f作为特定的组合方式。

综上所述,函数式语言与Hadoop这类系统中的map和reduce函数并没有本质区别。作为计算模型而言,MapReduce实际上就是函数式编程语言中的map和reduce函数的并行化拓展。另外,我们可以从MapReduce计算模型身上处处体会到函数式编程的哲学原理,即把数据抽象作为一个流来进行操作,而显然这种抽象也正是并行化的基础。

从抽象的观点看,一个流也就是一个序列。流处理使我们可以模拟一些包含状态的系统,但却不需要利用复制或者变动数据。这一情况会产生一些重要的结果,既有理论的也有实际的。因为我们可以构造出一些模型,它们能避免由于引进赋值而带来的内在缺陷。但是,流框架也造成了它自己的困难。


以上是关于技术浅谈MapReduce 与函数式编程的主要内容,如果未能解决你的问题,请参考以下文章

技术分享浅谈函数式编程 - 史原杰

本期沙龙浅谈函数式编程

MapReduce分布编程模型之函数式编程范式

大数据之MapReduce分布编程模型之函数式编程范式

专访《Haskell函数式编程入门》作者张淞:浅谈Haskell的优点与启发

浅谈函数式编程