TensorFlow加载数据
TensorFlow官方共给出三种加载数据的方式: 1. 预加载数据 2. 填充数据 预加载数据的缺点: 将数据直接嵌在数据流图中,当训练数据较大时,很消耗内存.填充的方式也有数据量大,消耗内存高的缺点,并且数据类型的转换等中间环节增加了不少开销(之前的笔记示例中主要使用的这两种方式).最好用第三种方法,在图中定义好文件读取的方法,让Tensorflow 自己从文件中读取数据,并解码成可使用的样本集.
CODE : 预加载数据与填充数据
import tensorflow as tf
import os
os.environ[
'TF_CPP_MIN_LOG_LEVEL'] =
'2'
# 预加载数据
# 缺点: 将数据直接嵌在数据流图中,当训练数据较大时,很消耗内存
x1 = tf.constant([
2,
3,
4])
x2 = tf.constant([
4,
0,
1])
y = tf.add(x1,x2)
with tf.Session() as sess:
print(sess.run(y))
# 填充数据
# 设计图
a1 = tf.placeholder(tf.
int16)
a2 = tf.placeholder(tf.
int16)
b = tf.add(x1,x2)
# 用 python 产生数据
li1 = [
2,
3,
4]
li2 = [
4,
0,
1]
# 打开一个会话,将数据填充给后端
with tf.Session() as sess:
print(sess.run(b,feed_dict={a1: li1,a2: li2}))
# 填充的方式也有数据量大,消耗内存高的缺点,并且数据类型的转换等中间环节增加了不少开销.
# 这时最好用第三种方法,在图中定义好文件读取的方法,让Tensorflow 自己从文件中读取数据,并解码成可使用的样本集
运行结果:
[
6 3 5]
[
6 3 5]
相关
在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步: 1. 把样本数据写入TFRecords二进制文件 : http://blog.csdn.net/fontthrone/article/details/76727412 2. TensorFlow笔记(基础篇):加载数据之从队列中读取:http://blog.csdn.net/fontthrone/article/details/76728083 3. python中的argparse模块:http://blog.csdn.net/fontthrone/article/details/76735591
