TensorFlow通过dataset读入不同长度数据

1. 背景

dataset是tensorflow支持的一种新的数据读取方式，相对直接feed更加优雅，我个人比较喜欢这种方式。关于具体的使用方式，可以参考这篇文章https://towardsdatascience.com/how-to-use-dataset-in-tensorflow-c758ef9e4428。

但是在实际用的过程中，我遇到了一些问题，就是在load变长数据的过程中，会出问题，我的解决方式是通过generator来进行处理。

2. 问题

例如，直接通过tensor来inti dataset

import tensorflow as tf

data=[[1,2,3],[4,5]]
dataset=tf.data.Dataset.from_tensor_slices(data)

ValueError: Argument must be a dense tensor: [[1, 2, 3], [4, 5]] - got shape [2], but wanted [2, 3].

这种时候，会有error，这是因为[[1, 2, 3], [4, 5]]的shape是[2]，因为第二个维度没有fix长度，这种情况下，只能手动进行padding。

如果不想直接按照固定长度进行处理，还需要提前进行batch的处理，这个当然也是OK的，早期的tf代码其实很多都是这样做的。

但是，现在tf的dataset支持很多高级功能，并且通过feature column可以简化很多工作，提升效率，还是通过python裸写preprocess，有点原始。

所以，我找了一个处理的办法。

3. 解决办法

解决办法，其实在之前的wiki里面也有，就是通过generator来load。

除此之外，有人提到通过sparse tensor的方式也可以解决，但是我没有找到具体的做法，所以这里就是通过generator来解决。

def generator():
    for _ in [[1,2,3],[4,5]]:
        yield _

dataset=tf.data.Dataset.from_generator(generator=generator, output_types=tf.int32)

这种情况下就可以正常load了

4. 数据padding、batch

一般这种变长的数据都是用来做rnn训练的，都是要做padding、batch的，如果我们自己来处理，会比较麻烦。

幸运的是，tf已经支持通过dataset直接来处理，这也是为啥我要费事通过dataset来load的原因了。

dataset = dataset.repeat().padded_batch(4, padded_shapes=[None])

iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()
sess = tf.Session()
sess.run(next_element)

输出就是padding、batch之后的结果

array([[1, 2, 3],
       [4, 5, 0],
       [1, 2, 3],
       [4, 5, 0]], dtype=int32)

5. pair数据

pair数据可以组织为dict，

def generator():
    a = [[1,2,3], [4,5]]
    b = [0, 1]
    for x, y in zip(a, b):
        yield {'x':x, 'y':[y]}

dataset = tf.data.Dataset.from_generator(generator=generator, output_types={'x':tf.int32, 'y':tf.int32})
dataset = dataset.repeat().padded_batch(4, padded_shapes={'x':[None], 'y':[None]})
iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()

sess = tf.Session()
print sess.run(next_element)

输出是

{'y': array([[0],
       [1],
       [0],
       [1]], dtype=int32), 'x': array([[1, 2, 3],
       [4, 5, 0],
       [1, 2, 3],
       [4, 5, 0]], dtype=int32)}

pair数据也可以组织为tuple

def generator():
    a = [[1,2,3], [4,5]]
    b = [0, 1]
    for x, y in zip(a, b):
        yield (x, [y])

dataset = tf.data.Dataset.from_generator(generator=generator, output_types=(tf.int32, tf.int32))
dataset = dataset.repeat().padded_batch(4, padded_shapes=([None], [None]))
iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()

sess = tf.Session()
print sess.run(next_element)

输出是

(array([[1, 2, 3],
       [4, 5, 0],
       [1, 2, 3],
       [4, 5, 0]], dtype=int32), array([[0],
       [1],
       [0],
       [1]], dtype=int32))

两种方式都可以，只是要保证和output_types和padded_shapes和generator数据的schema一致。

5. 其他

最近想用tensorflow的estimator来做rnn的实验，在用的时候，发现还是很不完善，但是配合dataset、feature column的效率确实很高。

这种load变长数据的方式，配合后续的feature column、estimator，我个人觉得还是很方便的。

TensorFlow通过dataset读入不同长度数据

猜你喜欢