Python 进阶学习笔记1

一、课程介绍

二、函数式编程

2-1 函数式编程简介

函数式编程的特点：把计算视为函数而非指令；纯函数式编程，不需要变量，没有副作用，测试简单；支持高阶函数，代码简介。

Python 支持的函数式编程

• 不是纯函数式编程：允许有变量
• 支持高阶函数：函数也可以作为变量传入
• 支持闭包：有了闭包就能返回函数
• 有限度地支持匿名函数

2-2 高阶函数

变量可以指向函数。

f=abs
函数名其实就是指向函数的变量。

abs = len
abs(-3)则出错，因为abs指向的是len函数了。abs([1,2,4])则返回3

高阶函数：能接收函数作为参数的函数。

2-3 把函数作为参数

2-4 map()函数

map()是 Python 内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回。

注意：map()函数不改变原有的 list，而是返回一个新的 list。

API参考  或 The Python Standard Library

2-5 reduce 函数

reduce()函数接收的参数和 map()类似，一个函数 f，一个list，函数 f 必须接收两个参数，reduce()对list的每个元素反复调用函数f，并返回最终结果值。

reduce()还可以接收第3个可选参数，作为计算的初始值。

2-6 filter 函数

filter()函数接收一个函数 f 和一个list，这个函数 f 的作用是对每个元素进行判断，返回 True或 False，filter()根据判断结果自动过滤掉不符合条件的元素，返回由符合条件元素组成的新list。

2-7 自定义排序函数

Python内置的 sorted()函数可对list进行排序。

 sorted()也是一个高阶函数，它可以接收一个比较函数（第二个参数）来实现自定义排序，比较函数的定义是，传入两个待比较的元素 x, y，如果 x 应该排在 y 的前面，返回 -1，如果 x 应该排在 y 的后面，返回 1。如果 x 和 y 相等，返回 0。

def reversed_cmp(x, y):
    if x > y:
        return -1
    if x < y:
        return 1
    return 0

>>> sorted([36, 5, 12, 9, 21], reversed_cmp)
[36, 21, 12, 9, 5]

2-8 返回函数

Python的函数不但可以返回int、str、list、dict等数据类型，还可以返回函数！

例如，定义一个函数 f()，我们让它返回一个函数 g，可以这样写：

def f():
    print 'call f()...'
    # 定义函数g:
    def g():
        print 'call g()...'
    # 返回函数g:
    return g

仔细观察上面的函数定义，我们在函数 f 内部又定义了一个函数 g。由于函数 g 也是一个对象，函数名 g 就是指向函数 g 的变量，所以，最外层函数 f 可以返回变量 g，也就是函数 g 本身。

调用函数 f，我们会得到 f 返回的一个函数：

>>> x = f()   # 调用f()
call f()...
>>> x   # 变量x是f()返回的函数：
<function g at 0x1037bf320>
>>> x()   # x指向函数，因此可以调用
call g()...   # 调用x()就是执行g()函数定义的代码

返回函数可以把一些计算延迟执行。例如，如果定义一个普通的求和函数：

def calc_sum(lst):
    return sum(lst)

调用calc_sum()函数时，将立刻计算并得到结果：

>>> calc_sum([1, 2, 3, 4])
10

但是，如果返回一个函数，就可以“延迟计算”：

def calc_sum(lst):
    def lazy_sum():
        return sum(lst)
    return lazy_sum

# 调用calc_sum()并没有计算出结果，而是返回函数:

>>> f = calc_sum([1, 2, 3, 4])
>>> f
<function lazy_sum at 0x1037bfaa0>

# 对返回的函数进行调用时，才计算出结果:

>>> f()
10

由于可以返回函数，我们在后续代码里就可以决定到底要不要调用该函数。

2-9 闭包

内层函数引用了外层函数的变量（参数也算变量），然后返回内层函数的情况，称为闭包（Closure）。（上一节calc_sum和lazy_sum）

闭包的特点是返回的函数还引用了外层函数的局部变量，所以， 要正确使用闭包，就要确保引用的局部变量在函数返回后不能变。

举例如下：

# 希望一次返回3个函数，分别计算1x1,2x2,3x3:
def count():
    fs = []
    for i in range(1, 4):
        def f():
             return i*i
        fs.append(f)
    return fs

f1, f2, f3 = count()

你可能认为调用f1()，f2()和f3()结果应该是1，4，9，但实际结果全部都是 9（请自己动手验证）。
原因就是当count()函数返回了3个函数时，这3个函数所引用的变量 i 的值已经变成了3。由于f1、f2、f3并没有被调用，所以，此时他们并未计算 i*i，当 f1 被调用时：

>>> f1()
9     # 因为f1现在才计算i*i，但现在i的值已经变为3

因此，返回函数不要引用任何循环变量，或者后续会发生变化的变量。

2-10 匿名函数

在Python中，对匿名函数提供了有限支持。还是以map()函数为例，计算 f(x)=x2 时，除了定义一个f(x)的函数外，还可以直接传入匿名函数：

>>> map(lambda x: x * x, [1, 2, 3, 4, 5, 6, 7, 8, 9])
[1, 4, 9, 16, 25, 36, 49, 64, 81]

通过对比可以看出，匿名函数 lambda x: x * x 实际上就是：

def f(x):
    return x * x

关键字lambda 表示匿名函数，冒号前面的 x 表示函数参数。

匿名函数有个限制，就是只能有一个表达式，不写return，返回值就是该表达式的结果。

返回函数的时候，也可以返回匿名函数：

>>> myabs = lambda x: -x if x < 0 else x 
>>> myabs(-1)
1
>>> myabs(1)
1

2-11 decorator 装饰器

• 什么是装饰器：定义一个函数后，在运行时动态地增加功能，但又不改变函数本身的代码。
• 例如，希望在下列函数调用时，增加打印log的功能，打印出函数调用：

def f1(x):
    return x*2

def f2(x):
    return x*x

def f3(x):
    return x*x*2

除了直接修改函数代码，还可以通过高阶函数返回新函数实现：

def new_fn(f):
    def fn(x):
        print 'call'+f._name_+'()'
        return f(x)
    return fn

#使用时
g1=new_fn(f1)
print g1(5)

#也可以用f1变量
f1=new_fn(f1)
print f1(5)
#f1的原始函数定义被彻底隐藏

• Python内置的@语法就是为了简化装饰器调用：

@new_fn
def f1(x):
    return x*2

等价于

def f1(x):
    return x*2
f1=new_fn(f1)

• 装饰器的作用

可以极大地简化代码，避免每个函数编写重复性代码：
打印日志：@log
检测性能：@performance
数据库事务：@transaction
URL路由：@post('/register')

2-12 编写无参数 decorator

• Python的 decorator 本质上就是一个高阶函数，它接收一个函数作为参数，然后，返回一个新函数。

使用 decorator 用Python提供的 @ 语法，这样可以避免手动编写 f = decorate(f) 这样的代码。

• 考察一个@log的定义：

def log(f):
    def fn(x):
        print 'call ' + f.__name__ + '()...'
        return f(x)
    return fn

对于阶乘函数，@log工作得很好：

@log
def factorial(n):
    return reduce(lambda x,y: x*y, range(1, n+1))
print factorial(10)

分析：上述语句等价于 factorial=log(factorial)（以@后定义的函数f作为参数，调用@后的名字log函数，并将返回值（函数）赋给f）。进入log(factorial)函数后，有一个函数定义暂不管它，直接执行语句return，也就是返回fn函数。而fn函数是什么呢？就是前面定义的函数。所以factorial(10)也就是调用fn(10)，则先print一行信息，然后返回f(10)，即factorial(10)。流程如上所述。的确有点绕。

总结一下，就是在@log后面定义的函数完成其本身就有的功能，其他的功能由log函数的定义中进行扩充（也就是decorator的定义）。在log函数中，它接受一个函数作为参数，然后要返回一个新函数。这个新函数就需要在log函数的定义块中进行定义。该新函数接受的参数（至少）应该与被作为参数传进来的函数（即 f ）的参数相同。然后该新函数先是做一些扩充功能的事情，然后返回 f 函数的调用结果。

结果：

call factorial()...
3628800

但是，对于参数不是一个的函数，调用将报错：

@log
def add(x, y):
    return x + y
print add(1, 2)

结果：

Traceback (most recent call last):
  File "test.py", line 15, in <module>
    print add(1,2)
TypeError: fn() takes exactly 1 argument (2 given)

• 要让 @log 自适应任何参数定义的函数，可以利用Python的 *args 和 **kw，保证任意个数的参数总是能正常调用：

def log(f):
    def fn(*args, **kw):
        print 'call ' + f.__name__ + '()...'
        return f(*args, **kw)
    return fn

*args表示任何多个无名参数，它是一个tuple；**kwargs表示关键字参数，它是一个dict。并且同时使用*args和**kwargs时，必须*args参数列要在**kwargs前。

另外，import time后，time.time()返回当前时间戳，所以在一个函数调用前后的时间戳相减，则可得到函数调用的时间。

补充：函数参数

参数组

在参数定义中，可以通过把参数统一放入容器中调用函数，而不必显示地将其放在函数调用中。而其中，可以把非关键字参数放入元组tuple，关键字参数放入字典dict中（何为关键字参数见下一小节）：

func(*tuple_grp_nonkw_args, **dict_grp_kw_args)

关键字参数

仅仅针对函数的调用。在函数调用中，以参数名来区分参数，解释器通过给出的关键字来匹配参数的值。这样允许参数缺失或不按顺序。

比如，在对函数net_conn()：

def net_conn(host, port):
    net_conn_suite

以下两种调用都是可行的：

net_conn('kappa', 8080)

#关键字参数
net_conn(port=8080, host='kappa')

可变长度的参数

fn(*args, **kw) 暂时记成这样就可以了。细节暂时不深究。

参考：Python 核心编程 P269、P282

2-13 编写带参数decorator

考察上一节的 @log 装饰器，发现对于被装饰的函数，log打印的语句是不能变的（除了函数名）。如果有的函数非常重要，希望打印出'[INFO] call xxx()...'，有的函数不太重要，希望打印出'[DEBUG] call xxx()...'，这时，log函数本身就需要传入'INFO'或'DEBUG'这样的参数。函数调用为：

my_func = log('DEBUG')(my_func)

上面的语句看上去还是比较绕，展开一下：

log_decorator = log('DEBUG')
my_func = log_decorator(my_func)

上面的语句又相当于：

log_decorator = log('DEBUG')
@log_decorator
def my_func():
    pass

• 所以，带参数的log函数首先返回一个decorator函数，再让这个decorator函数接收my_func并返回新函数：

def log(prefix):
    def log_decorator(f):
        def wrapper(*args, **kw):
            print '[%s] %s()...' % (prefix, f.__name__)
            return f(*args, **kw)
        return wrapper
    return log_decorator

@log('DEBUG')
def test():
    pass
print test()

分析：分析上述log(prefix)函数的定义可以很明显发现一个规律：函数定义依次是log——log_decorator——wrapper，返回的依次是f——wrapper——log_decorator。外层函数的返回值总是内一层函数的函数名（这样，在执行外层函数时，即可变化为对内层函数的调用），最内层函数返回的是实际函数（或被包装函数）的调用，或者在最内层函数中计算结果，将结果作为返回值返回。

问题：从功能上看log(prefix)函数的定义，最外一层是用来包装参数prefix，内一层的log_decorator用来包装函数f。如果把两个合二为一呢？log(prefix,f)？
好吧，自问自答，突然明白了，因为@的定义只能是f=new_fn(f)，是一个参数的。。

执行结果：

[DEBUG] test()...
None

对于这种3层嵌套的decorator定义，你可以先把它拆开：

# 标准decorator:
def log_decorator(f):
    def wrapper(*args, **kw):
        print '[%s] %s()...' % (prefix, f.__name__)
        return f(*args, **kw)
    return wrapper
return log_decorator

# 返回decorator:
def log(prefix):
    return log_decorator(f)

拆开以后会发现，调用会失败，因为在3层嵌套的decorator定义中，最内层的wrapper引用了最外层的参数prefix，所以，把一个闭包拆成普通的函数调用会比较困难。不支持闭包的编程语言要实现同样的功能就需要更多的代码。

2-14 完善 decorator

• @decorator可以动态实现函数功能的增加，但是，经过@decorator“改造”后的函数，和原函数相比，除了功能多一点外，有没有其它不同的地方？

在没有decorator的情况下，打印函数名：

def f1(x):
    pass
print f1.__name__

输出： f1

有decorator的情况下，再打印函数名：

def log(f):
    def wrapper(*args, **kw):
        print 'call...'
        return f(*args, **kw)
    return wrapper
@log
def f2(x):
    pass
print f2.__name__

输出： wrapper

• 可见，由于decorator返回的新函数函数名已经不是'f2'，而是@log内部定义的'wrapper'。这对于那些依赖函数名的代码就会失效。
• decorator还改变了函数的__doc__等其它属性。
  
• 如果要让调用者看不出一个函数经过了@decorator的“改造”，就需要把原函数的一些属性复制到新函数中：
  

  def log(f):
      def wrapper(*args, **kw):
          print 'call...'
          return f(*args, **kw)
      wrapper.__name__ = f.__name__
      wrapper.__doc__ = f.__doc__
      return wrapper

  
  
• 这样写decorator很不方便，因为我们也很难把原函数的所有必要属性都一个一个复制到新函数上，所以Python内置的functools可以用来自动化完成这个“复制”的任务：
  

  import functools
  def log(f):
      @functools.wraps(f)
      def wrapper(*args, **kw):
          print 'call...'
          return f(*args, **kw)
      return wrapper

  个人理解：这里@functools.wrap(f)及下面的函数定义，也是装饰器的应用，其实等价于wrapper=wraps(wrapper,f)，然后在该函数内可能修改wrapper的函数签名等信息。
• 最后需要指出，由于我们把原函数签名改成了(*args, **kw)，因此，无法获得原函数的原始参数信息。
  即便我们采用固定参数来装饰只有一个参数的函数：
  

  def log(f):
      @functools.wraps(f)
      def wrapper(x):
          print 'call...'
          return f(x)
      return wrapper

  也可能改变原函数的参数名，因为新函数的参数名始终是 'x'，原函数定义的参数名不一定叫 'x'。
  
• 对于带参数的装饰器，@functools.wraps应该作用在返回的新函数上。

  def performance(unit):
      def perf(f):
          @functools.wraps(f)
          def wrapper(*args, **kw):
              tStart=time.time()
              res=f(*args, **kw)
              tEnd=time.time()
              t=(tEnd-tStart) if unit=='s' else (tEnd-sStart)*1000
              #t=(tEnd-tStart)*1000 if unit=='ms' else (tEnd-tStart)
              print 'call %s() in %f %s' % (f.__name__, t, unit)
              return res
          return wrapper
      return perf  
  

  
  

2-15 偏函数

• 假设要转换大量的二进制字符串，每次都传入int(x, base=2)非常麻烦，于是，我们想到，可以定义一个int2()的函数，默认把base=2传进去：

def int2(x, base=2):
    return int(x, base)

• functools.partial就是帮助我们创建一个偏函数的，不需要我们自己定义int2()，可以直接使用下面的代码创建一个新的函数int2：

>>> import functools
>>> int2 = functools.partial(int, base=2)
>>> int2('1000000')
64
>>> int2('1010101')
85

• functools.partial可以把一个参数多的函数变成一个参数少的新函数，少的参数需要在创建时指定默认值，这样，新函数调用的难度就降低了。