mapreduce函数

Posted 西瓜刀刀刀

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mapreduce函数相关的知识,希望对你有一定的参考价值。

map函数:

      接受一个函数 f 和一个 list 。格式:map( f , L),对L中的每个元素,进行f(x)的一个操作。

例如,对于list [1, 2, 3, 4, 5, 6, 7, 8, 9],如果希望把list的每个元素都作平方,就可以用map()函数:

def f(x):
    return x*x
print map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9])

此时,结果就为:[1, 4, 9, 10, 25, 36, 49, 64, 81]

 reduce函数:

        接受一个函数 f 和一个 list 。格式:map( f , L)。与map不同的是,reduce中 f 接受的是两个参数。

例如,编写一个f函数,接收x和y,返回x和y的和:

def f(x, y):
    return x + y

调用 reduce(f, [1, 3, 5, 7, 9])时,reduce函数将做如下计算:

先计算头两个元素:f(1, 3),结果为4;
再把结果和第3个元素计算:f(4, 5),结果为9;
再把结果和第4个元素计算:f(9, 7),结果为16;
再把结果和第5个元素计算:f(16, 9),结果为25;
由于没有更多的元素了,计算结束,返回结果25。

reduce()还可以接收第3个可选参数,作为计算的初始值。如果把初始值设为100,计算:

reduce(f, [1, 3, 5, 7, 9], 100)

结果将变为125,因为第一轮计算是:

计算初始值和第一个元素:f(100, 1),结果为101。

以上是关于mapreduce函数的主要内容,如果未能解决你的问题,请参考以下文章

VSCode自定义代码片段8——声明函数

理解MapReduce计算构架

理解MapReduce计算构架

hadoop mapreduce 进程都有哪些

理解MapReduce计算构架

使用从循环内的代码片段中提取的函数避免代码冗余/计算开销