tf.train.write_graph使用所有内存并导致MemoryError

Question

我试图以文本格式将简单的MNIST模型图导出到proto缓冲区文件。

实际上，我使用的是tf.keras模块，但后来我决定切换，因为在keras序列模型中很难为输入和输出张量重命名/指定名称。

这是我的代码：

import tensorflow as tf
import numpy as np

(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()

y_train = tf.keras.utils.to_categorical(y_train, 10)
y_test = tf.keras.utils.to_categorical(y_test, 10)

x_test = np.reshape(x_test, (-1, 784))/255
x_train = np.reshape(x_train, (-1, 784))/255

X = tf.placeholder(dtype=tf.float32, shape=[None, 784])
Y = tf.placeholder(dtype=tf.float32, shape=[None, 10])

h1 = tf.get_variable('h1',shape=[784, 16])
b1 = tf.zeros(shape=[16])

h2 = tf.get_variable('h2', shape=[16,10])
b2 = tf.zeros(shape=[10])

l1 = tf.nn.relu(tf.matmul(X, h1) + b1)
logits = tf.matmul(l1, h2) + b2

# l1 = tf.layers.dense(inputs=X, units=16, activation=tf.nn.relu)
# logits = tf.layers.dense(inputs=l1, units=10, activation=tf.nn.softmax)

loss = tf.losses.softmax_cross_entropy(onehot_labels=Y, logits=logits)
optimizer = tf.train.AdamOptimizer(learning_rate=0.01).minimize(loss)
accuracy = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(logits, -1), tf.argmax(Y, -1)), tf.float32))

data_pipeline = tf.data.Dataset.from_tensor_slices((x_train, y_train))
iter = data_pipeline.shuffle(1000).repeat().batch(1024).make_one_shot_iterator()
next_item = iter.get_next()

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(5):
        for i2 in range(1000):
            x, y = sess.run(next_item)
            if i2 % 100 == 0:
                lss = sess.run(loss, feed_dict={X: x, Y: y})
                print('Loss at {} => {} is {}'.format(i, i2, lss))
                sess.run(optimizer, feed_dict={X: x, Y: y})
    print('Final Accuracy : ', sess.run(accuracy, feed_dict={X: x_train, Y: y_train}))
    # tf.train.write_graph(sess.graph, './', 'temp.pbtxt')
    # This line here is causing the Memory Error

系统信息和图书馆信息

• 操作系统：Ubuntu 18.04 LTS

更多信息

正如我前面提到的，当我使用keras时，我可以很容易地按顺序导出keras，并且能够使用从后端获得的会话编写model.pbtxt。模型的大小和配置与此代码相同。

使用tensorflow 1.4，即使使用4GB内存，我也能够轻松导出和保存这些模型。既然我有8个，为什么会抛出MemoryError？对于确切的日志很抱歉，它只显示了一次，现在每次我运行此代码时，我的系统都会崩溃，因为它耗尽了所有内存

此外，当我运行代码时，我会得到一个警告：

2018-05-16 21:42:08.844531： W tenstorflow/core/框架/allocator.cc:101] 376320000的分配超过了系统内存的10%。

问题

<罢工> 我如何解决这个问题，是什么原因导致的？

我删除了tf.data.Dataset，并进行了正常的numpy修改，一切正常。我仍然想知道，为什么不使用tf.data.Dataset来解决这个问题？这是否会向较大的图形添加额外的节点？我们应该只在大数据和大机器上进行培训时使用这些管道吗？




Answer 1

尝试将批量大小设置为较低的值，这样可以解决问题。

举个例子

iter = data_pipeline.shuffle(1000).repeat().batch(256).make_one_shot_iterator()