tensorflow之Eager execution基础

TensorFlow 引入了「Eager Execution」，它是一个命令式、由运行定义的接口，一旦从 Python 被调用，其操作立即被执行。这使得入门 TensorFlow 变的更简单，也使研发更直观。

Eager Execution 的优点如下：

快速调试即刻的运行错误并通过 Python 工具进行整合
借助易于使用的 Python 控制流支持动态模型
为自定义和高阶梯度提供强大支持
适用于几乎所有可用的 TensorFlow 运算

这是使用TensorFlow Eager execution的入门教程。它将涵盖：

导入所需的包
创建和使用张量
使用GPU加速
数据集操作

1.导入tensorflow

import tensorflow as tf

tf.enable_eager_execution() #使eager execution处于可使用状态

2.创建和使用张量

张量是一个多维数组。与NumPy ndarray对象类似，Tensor对象具有数据类型和形状。此外，Tensors可以驻留在加速器（如GPU）内存中。 TensorFlow提供了丰富的操作库（tf.add，tf.matmul，tf.linalg.inv等），它们使用和生成Tensors。这些操作自动转换本机Python类型。例如：

print(tf.add(1, 2))
print(tf.add([1, 2], [3, 4]))
print(tf.square(5))
print(tf.reduce_sum([1, 2, 3]))
print(tf.encode_base64("hello world"))

# Operator overloading is also supported
print(tf.square(2) + tf.square(3))

每个Tensor都有一个形状和数据类型

x = tf.matmul([[1]], [[2, 3]])
print(x.shape)
print(x.dtype)

NumPy array和TensorFlow张量之间最明显的区别是：

张量可以由加速器内存（如GPU，TPU）支持。
张量是不可改变的。

TensorFlow张量和NumPy nararrays之间的转换非常简单，如：

TensorFlow操作自动将NumPy ndarrays转换为Tensors。
NumPy操作自动将Tensors转换为NumPy ndarrays。

通过在Tensors上调用.numpy（）方法，可以将张量显式转换为NumPy ndarrays。这些转换通常很容易，因为如果可能，数组和Tensor共享底层内存表示。但是，共享底层表示并不总是可行的，因为Tensor可能托管在GPU内存中，而NumPy阵列总是由主机内存支持，因此转换将涉及从GPU到主机内存的复制。

import numpy as np

ndarray = np.ones([3, 3])

print("TensorFlow operations convert numpy arrays to Tensors automatically")
tensor = tf.multiply(ndarray, 42)
print(tensor)


print("And NumPy operations convert Tensors to numpy arrays automatically")
print(np.add(tensor, 1))

print("The .numpy() method explicitly converts a Tensor to a numpy array")
print(tensor.numpy())

3.GPU加速

通过使用GPU进行计算，可以加速许多TensorFlow操作。在没有任何注释的情况下，TensorFlow会自动决定是使用GPU还是CPU进行操作（如有必要，还可以复制CPU和GPU内存之间的张量）。由操作产生的张量通常由执行操作的设备的存储器支持。例如：

x = tf.random_uniform([3, 3])

print("Is there a GPU available: "),
print(tf.test.is_gpu_available())

print("Is the Tensor on GPU #0:  "),
print(x.device.endswith('GPU:0'))

（1）设备名称

Tensor.device属性提供托管Tensor内容的设备的完全限定字符串名称。此名称对一组详细信息进行编码，例如，正在执行此程序的主机的网络地址的标识符以及该主机中的设备。这是分布式执行TensorFlow程序所必需的，但我们暂时不会这样做。如果张量位于主机上的第N个张量上，则字符串将以GPU：<N>结尾。

(2)显示设备配置

TensorFlow中的术语“placement"指的是如何为执行设备分配（放置）各个操作。如上所述，当没有提供明确的指导时，TensorFlow会自动决定执行操作的设备，并在需要时将Tensors复制到该设备。但是，可以使用tf.device上下文管理器将TensorFlow操作显式放置在特定设备上。例如：

def time_matmul(x):
  %timeit tf.matmul(x, x)

# Force execution on CPU
print("On CPU:")
with tf.device("CPU:0"):
  x = tf.random_uniform([1000, 1000])
  assert x.device.endswith("CPU:0")
  time_matmul(x)

# Force execution on GPU #0 if available
if tf.test.is_gpu_available():
  with tf.device("GPU:0"): # Or GPU:1 for the 2nd GPU, GPU:2 for the 3rd etc.
    x = tf.random_uniform([1000, 1000])
    assert x.device.endswith("GPU:0")
    time_matmul(x)

4.数据集

本节演示如何使用tf.data.Dataset API构建pipelines以将数据提供给模型。它涵盖：

创建数据集。
在启用了eager execution的情况下对数据集进行迭代。

我们建议使用数据集API从简单，可重复使用的部分构建高性能，复杂的pipelines，这些部分将为模型的训练或评估循环提供支持。

如果您熟悉TensorFlow图，则在启用eager execution时，构建数据集对象的API保持完全相同，但迭代数据集元素的过程稍微简单一些。您可以对tf.data.Dataset对象使用Python迭代，而不需要显式创建tf.data.Iterator对象。因此，在启用eager执行时，TensorFlow指南中对迭代器的讨论无关紧要。

（1）创建源数据集
使用其中一个工厂函数（如Dataset.from_tensors，Dataset.from_tensor_slices）或使用从TextLineDataset或TFRecordDataset等文件读取的对象创建源数据集。

ds_tensors = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6])

# Create a CSV file
import tempfile
_, filename = tempfile.mkstemp()

with open(filename, 'w') as f:
  f.write("""Line 1
Line 2
Line 3
  """)

ds_file = tf.data.TextLineDataset(filename)

（2）应用transformations

使用map，batch，shuffle等转换函数将转换应用于数据集的记录。

ds_tensors = ds_tensors.map(tf.square).shuffle(2).batch(2)

ds_file = ds_file.batch(2)

(3)迭代

启用eager执行时，Dataset对象支持迭代。如果您熟悉TensorFlow图中数据集的使用，请注意不需要调用Dataset.make_one_shot_iterator（）或get_next（）。

print('Elements of ds_tensors:')
for x in ds_tensors:
  print(x)

print('\nElements in ds_file:')
for x in ds_file:
  print(x)