tf.nn.embedding_lookup,tf.variable系列变量

一、tf.variable变量系列函数

1. tf.Variable与tf.get_variable

tensorflow提供了通过变量名称来创建或者获取一个变量的机制。通过这个机制，在不同的函数中可以直接通过变量的名字来使用变量，而不需要将变量通过参数的形式到处传递。 
TensorFlow中通过变量名获取变量的机制主要是通过tf.get_variable和tf.variable_scope实现的。 
当然，变量也可以通过tf.Varivale来创建。当tf.get_variable用于变量创建时，和tf.Variable的功能基本等价。

1 2 3

#以下两个定义是等价的 v = tf.get_variable('v', shape=[1], initializer=tf.constant_initializer(1.0)) v = tf.Variable(tf.constant(1.0, shape=[1], name='v')

tf.get_varialbe和tf.Variable最大的区别在于：tf.Variable的变量名是一个可选项，通过name=’v’的形式给出。但是tf.get_variable必须指定变量名。

2. tf.get_variable与tf.variable_scope

上面已经提到过了：TensorFlow中通过变量名获取变量的机制主要是通过tf.get_variable和tf.variable_scope实现的。在这里，我主要解释下大家深恶痛绝的reuse问题。 
其实只要记住一件事情就ok了：当reuse为False或者None时（这也是默认值），同一个tf.variable_scope下面的变量名不能相同；当reuse为True时，tf.variable_scope只能获取已经创建过的变量。 
下面我们通过代码来看下：

#reuse=False时会报错的情况：
with tf.variable_scope('foo'):
    v = tf.get_variable('v',[1],initializer=tf.constant_initializer(1.0))
with tf.variable_scope('foo'):
    v1 = tf.get_variable('v',[1])

在这种情况下会报错：Variable foo/v already exists, disallowed.Did you mean to set reuse=True in Varscope? 
其原因就是在命名空间foo中创建了相同的变量。如果我要在foo下创建一个变量v1，其name=‘v’，只需要将reuse设置为Ture就ok了。将上面第二部分代码修改为：

with tf.variable_scope('foo', reuse=True):
    v1 = tf.get_variable('v',[1])
    print(v1.name)      #结果为foo/v

当reuse已经设置为True时，tf.variable_scope只能获取已经创建过的变量。这个时候，在命名空间bar中创建name=‘v’的变量v3，将会报错：Variable bar/v dose not exists, diallowed. Did you mean to set reuse=None in VarScope?

with tf.variable_scope('bar', reuse=True):
    v3 = tf.get_variable('v',[1])

简而言之，reuse=False时，tf.variable_scope创建变量；reuse=True时，tf.variable_scope获取变量。

3. tf.variable_scope与tf.name_scope

除了tf.variable_scope，tf.name_scope函数也提供了命名空间管理的功能。这两个函数在大部分情况下是等价的，唯一的区别是在使用tf.get_variable函数时。 
tf.get_variable函数不受tf.name_scope的影响。 
我们从代码看下这句话的具体意思。 
首先是tf.variable_scope：

with tf.variable_scope('foo'):
    a = tf.get_variable('bar',[1])
    print(a.name)#结果为foo/bar:0

　　

再看tf.name_scope：

with tf.name_scope('a'):
    a=tf.Variable([1])
    print(a.name)#结果为a/Variable:0
    b=tf.get_variable('b',[1])
    print(b.name)#结果为b:0

TF.GET_VARIABLE、TF.VARIABLE_SCOPE以及TF.NAME_SCOPE关系

链接：http://www.cnblogs.com/MY0213/p/9270864.html

二、tf.nn.embedding_lookup函数

tf.nn.embedding_lookup函数的用法主要是选取一个张量里面索引对应的元素。tf.nn.embedding_lookup（params, ids）:params可以是张量也可以是数组等，id就是对应的索引，其他的参数不介绍。

例如：

# -*- coding= utf-8 -*-
import tensorflow as tf
import numpy as np

a = [[0.1, 0.2, 0.3], [1.1, 1.2, 1.3], [2.1, 2.2, 2.3], [3.1, 3.2, 3.3], [4.1, 4.2, 4.3]]
a = np.asarray(a)
idx1 = tf.Variable([0, 2, 3, 1], tf.int32)
idx2 = tf.Variable([[0, 2, 3, 1], [4, 0, 2, 2]], tf.int32)
out1 = tf.nn.embedding_lookup(a, idx1)
out2 = tf.nn.embedding_lookup(a, idx2)
init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    print sess.run(out1)
    print out1
    print '=================='
    print sess.run(out2)
    print out2

输出:
[[ 0.1  0.2  0.3]
 [ 2.1  2.2  2.3]
 [ 3.1  3.2  3.3]
 [ 1.1  1.2  1.3]]
Tensor("embedding_lookup:0", shape=(4, 3), dtype=float64)
==================
[[[ 0.1  0.2  0.3]
  [ 2.1  2.2  2.3]
  [ 3.1  3.2  3.3]
  [ 1.1  1.2  1.3]]

 [[ 4.1  4.2  4.3]
  [ 0.1  0.2  0.3]
  [ 2.1  2.2  2.3]
  [ 2.1  2.2  2.3]]]
Tensor("embedding_lookup_1:0", shape=(2, 4, 3), dtype=float64)