python 高阶函数:mapreduce

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 高阶函数:mapreduce相关的知识,希望对你有一定的参考价值。

格式:

        map(函数, list)

        reduce(函数,list)


区别:

        1.map分别作用于list的每个元素,返回新的列表

        2.reduce将list的每个元素整合,返回一个新的


优势:

    1.map、reduce自带for循环,减少了代码量


一、map 的使用

#!/usr/bin/python

def f(x):
    return x*x

lis = [1, 2, 3, 4, 5]
map_list =map(f, lis)  #将lis的元素分别在f()函数中做运算
print lis
print map_list

技术分享图片


#str
map_list1 = map(str, lis); #将lis的元素分别在str函数中转换成char类型
print lis
print map_list1

技术分享图片


二、reduce 的使用


def fsum(x, y):
    return x+y;


lis = [1, 3, 5, 7]   
lis1 = reduce(fsum, lis)
print lis1

技术分享图片


三、map reduce混合使用

def fsum(x, y):
    return x+y;

lis = [1, 3, 5, 7]   
lis1 = reduce(fsum, lis)
print lis1

技术分享图片


#获取数字和
def fadd(x, y):
    return x*10+y
   
num = reduce(fadd, lis);
print 'get num:', num

stri = str(num);
print 'num2str:', stri;

技术分享图片


#将str转数字
def ch2num(s):
    return {'0':0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[s]  #此函数执行返回过程如下:

                            # {'0':0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[stri[0]] --->return 1   

                            {'0':0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[stri[1]] --->return 3 

                            {'0':0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[stri[2]] --->return 5  

                           {'0':0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[stri[4]] --->return 7

lis= map(ch2num, stri);
print 'str2num:',lis;

技术分享图片


#将数字列表lis整合
def f(x,y):
    return x*10+y;

num = reduce(f, strin);
print 'add:', num;

技术分享图片


四、难点记录

暂时无力解决,先记录,待深入后再回头看

整理成一个str2int的函数就是:

def str2int(s):
   def fn(x, y):
       return x * 10 + y
   def char2num(s):
       return {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[s]
   return reduce(fn, map(char2num, s))
lis = ['1', '2', '3']    
num = str2int(lis)
print num;

运行结果:123

还可以用lambda函数进一步简化成:

def char2num(s):
   return {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[s]
def str2int(s):
   return reduce(lambda x,y: x*10+y, map(char2num, s))
   
lis = ['1', '2', '4']    
num = str2int(lis)
print num;

运行结果:124

以上是关于python 高阶函数:mapreduce的主要内容,如果未能解决你的问题,请参考以下文章

Python高阶函数_map/reduce/filter函数

高阶函数:map()/reduce()

函数-内置函数,匿名函数,嵌套函数,高阶函数,序列化

2021年大数据Hadoop(二十四):MapReduce高阶训练

Python高阶函数

Python3 高阶函数