人工智能之Python10 map和reduce

Google发表过大数据的三大论文之一MapReduce: Simplified Data Processing on Large Clusters，python也提供了map、reduce方法用来处理业务。

map

概念

Python内建函数map，其接受两个参数：一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。

使用

例如将一个整数组成的list装换成字符串组成的list

ll = [0,1,2,3,4,5,6,7,8,9]
print(list(map(str,ll)))

#输出是
['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']

reduce

概念

再看reduce的用法。reduce把一个函数作用在一个序列[x1, x2, x3, …]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一个元素做累积计算，其效果就是：

reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)

使用

打个简单的比方，计算1，2，3，4，5之和

from functools import reduce
def add(x,y) :
    return x + y
print(reduce(add,[1,2,3,4,5]))

# 输出是
15

map/reduce组合拳

def fn(x, y):
    return x * 10 + y
def char2num(s):
    digits = {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}
    return digits[s]

print(reduce(fn, map(char2num, '13579')))

#输出是
13579

总结

关于map和reduce，以后会强加练习，熟练使用