Effective TensorFlow Chapter 6: 在TensorFlow中的运算符重载

Effective TensorFlow Chapter 6: 在TensorFlow中的运算符重载

本文翻译自: 《Take advantage of the overloaded operators》, 如有侵权请联系删除,仅限于学术交流,请勿商用。如有谬误,请联系指出。


和Numpy一样,TensorFlow重载了很多python中的运算符,使得构建计算图更加地简单,并且使得代码具有可读性。
切片(slice)操作是重载的诸多运算符中的一个,它可以使得索引张量变得很容易:

z = x[begin:end]  # z = tf.slice(x, [begin], [end-begin])

但是在使用它的过程中,你还是需要非常地小心。切片操作非常低效,因此最好避免使用,特别是在切片的数量很大的时候。为了更好地理解这个操作符有多么地低效,我们先观察一个例子。我们想要人工实现一个对矩阵的行进行reduce操作的代码:

import tensorflow as tf
import time

x = tf.random_uniform([500, 10])

z = tf.zeros([10])
for i in range(500):
    z += x[i]

sess = tf.Session()
start = time.time()
sess.run(z)
print("Took %f seconds." % (time.time() - start))

在笔者的MacBook Pro上,这个代码花费了2.67秒!那么耗时的原因是我们调用了切片操作500次,这个运行起来超级慢的!一个更好的选择是使用tf.unstack()操作去将一个矩阵切成一个向量的列表,而这只需要一次就行!

z = tf.zeros([10])
for x_i in tf.unstack(x):
    z += x_i

这个操作花费了0.18秒,当然,最正确的方式去实现这个需求是使用tf.reduce_sum()操作:

z = tf.reduce_sum(x, axis=0)

这个仅仅使用了0.008秒,是原始实现的300倍!
TensorFlow除了切片操作,也重载了一系列的数学逻辑运算,如:

z = -x  # z = tf.negative(x)
z = x + y  # z = tf.add(x, y)
z = x - y  # z = tf.subtract(x, y)
z = x * y  # z = tf.mul(x, y)
z = x / y  # z = tf.div(x, y)
z = x // y  # z = tf.floordiv(x, y)
z = x % y  # z = tf.mod(x, y)
z = x ** y  # z = tf.pow(x, y)
z = x @ y  # z = tf.matmul(x, y)
z = x > y  # z = tf.greater(x, y)
z = x >= y  # z = tf.greater_equal(x, y)
z = x < y  # z = tf.less(x, y)
z = x <= y  # z = tf.less_equal(x, y)
z = abs(x)  # z = tf.abs(x)
z = x & y  # z = tf.logical_and(x, y)
z = x | y  # z = tf.logical_or(x, y)
z = x ^ y  # z = tf.logical_xor(x, y)
z = ~x  # z = tf.logical_not(x)

你也可以使用这些操作符的增广版本,如 x += yx **=2同样是合法的。
注意到python不允许重载and,ornot等关键字。
TensorFlow也不允许把张量当成boolean类型使用,因为这个很容易出错:

x = tf.constant(1.)
if x:  # 这个将会抛出TypeError错误
    ...

如果你想要检查这个张量的值的话,你也可以使用tf.cond(x,...),或者使用if x is None去检查这个变量的值。
有些操作是不支持的,比如说等于判断==和不等于判断!=运算符,这些在numpy中得到了重载,但在TF中没有重载。如果需要使用,请使用这些功能的函数版本tf.equal()tf.not_equal()

猜你喜欢

转载自blog.csdn.net/loseinvain/article/details/78779182