测试两个浮点型数据相加是否大于1
以下代码只是使用了单层网络进行计算,并未使用 偏移量;随机梯度下降等更深层次的概念。
如果训练集数据大小过大时,需要使用随机梯度下降的方式来加快训练时间。
学习率如果设置过小,会显著增加训练时间;如果过大,又会无法找到全局最优解。
#
"""
二分法测试
原始数据:随机生成[2]数组
目标数据:数组[0]+[1]的结果如果大于等于1,则为1;否则为0。see:get_result
"""
import tensorflow as tf
from numpy import random
TRAIN_SIZE = 1000 # 训练数据大小
VALIDATE_SZIE = 200 # 验证数据大小
TEST_SIZE = 2000 # 测试数据大小
def get_result(t):
# 根据数据创建结果。数据和>=1,结果=1;否则=0
return [[1] if (m[0] + m[1]) >= 1 else [0] for m in t]
SOURCE = random.rand(TRAIN_SIZE, 2) # 训练原始数据集
RESULT = get_result(SOURCE) # 训练结果数据集
V_X = random.rand(VALIDATE_SZIE, 2) # 校验原始数据集
V_Y = get_result(V_X) # 校验结果数据集
T_X = random.rand(TEST_SIZE, 2) # 测试原始数据集
T_Y = get_result(T_X) # 测试结果数据集
X = tf.placeholder(tf.float32, shape=[None, 2], name=‘input‘) # 原始数据占位符
Y = tf.placeholder(tf.float32, shape=[None, 1], name=‘output‘) # 输出数据占位符,用来与计算输出数据比较,得出损失值
HIDDEN_SIZE = 500 # 隐藏层数量
def init_weight(shape):
return tf.Variable(tf.random_normal(shape, stddev=0.01))
W_1 = init_weight([2, HIDDEN_SIZE]) # 隐藏层1
W_OUTPUT = init_weight([HIDDEN_SIZE, 1]) # 输出层
OUTPUT = tf.matmul(tf.nn.sigmoid(tf.matmul(X, W_1)), W_OUTPUT) # 原始数据通过隐藏层计算结果
_loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=OUTPUT, labels=Y)) # 损失值
_train = tf.train.GradientDescentOptimizer(0.05).minimize(_loss) # 计算方法
STEPS = 30001 # 训练轮次
with tf.Session() as sess:
sess.run(tf.global_variables_initializer()) # 首先初始化所有数据
for i in range(STEPS):
# 个人水平有限,这里没有采用批次的方式进行训练
sess.run(_train, feed_dict={X: SOURCE, Y: RESULT})
if i % 1000 == 0:
# 每1000轮时,使用校验数据计算损失值
_cost = sess.run(_loss, feed_dict={X: V_X, Y: V_Y})
print("经过 {:>5d} 轮训练,使用 校验数据集 测试损失值为:{}。".format(i, _cost))
if i % 5000 == 0:
# 每5000轮,使用测试数据集直接判断结果,输出结果正确率
_out = [[1] if m > 1 else [0] for m in sess.run(OUTPUT, feed_dict={X: T_X})]
_s = len([1 for i in range(len(T_Y)) if T_Y[i] == _out[i]])
print(‘经过 {:>5d} 轮训练,使用 测试数据集进行测试,{}(正确数量)/{}(总数据量)={:.2%}‘.format(i, _s, len(T_Y), _s / len(T_Y)))
输出内容如下:
经过 0 轮训练,使用 校验数据集 测试损失值为:0.6941196322441101。
经过 0 轮训练,使用 测试数据集进行测试,987(正确数量)/2000(总数据量)=49.35%
经过 1000 轮训练,使用 校验数据集 测试损失值为:0.6805213689804077。
经过 2000 轮训练,使用 校验数据集 测试损失值为:0.538556694984436。
经过 3000 轮训练,使用 校验数据集 测试损失值为:0.2825967073440552。
经过 4000 轮训练,使用 校验数据集 测试损失值为:0.1842319369316101。
经过 5000 轮训练,使用 校验数据集 测试损失值为:0.14281019568443298。
经过 5000 轮训练,使用 测试数据集进行测试,1808(正确数量)/2000(总数据量)=90.40%
经过 6000 轮训练,使用 校验数据集 测试损失值为:0.12008533626794815。
经过 7000 轮训练,使用 校验数据集 测试损失值为:0.10553856194019318。
经过 8000 轮训练,使用 校验数据集 测试损失值为:0.0953076109290123。
经过 9000 轮训练,使用 校验数据集 测试损失值为:0.08765047043561935。
经过 10000 轮训练,使用 校验数据集 测试损失值为:0.08166348189115524。
经过 10000 轮训练,使用 测试数据集进行测试,1905(正确数量)/2000(总数据量)=95.25%
经过 11000 轮训练,使用 校验数据集 测试损失值为:0.07682867348194122。
经过 12000 轮训练,使用 校验数据集 测试损失值为:0.07282623648643494。
经过 13000 轮训练,使用 校验数据集 测试损失值为:0.06944723427295685。
经过 14000 轮训练,使用 校验数据集 测试损失值为:0.06654875725507736。
经过 15000 轮训练,使用 校验数据集 测试损失值为:0.0640294998884201。
经过 15000 轮训练,使用 测试数据集进行测试,1928(正确数量)/2000(总数据量)=96.40%
经过 16000 轮训练,使用 校验数据集 测试损失值为:0.06181534752249718。
经过 17000 轮训练,使用 校验数据集 测试损失值为:0.05985085666179657。
经过 18000 轮训练,使用 校验数据集 测试损失值为:0.058093465864658356。
经过 19000 轮训练,使用 校验数据集 测试损失值为:0.05651006102561951。
经过 20000 轮训练,使用 校验数据集 测试损失值为:0.055074337869882584。
经过 20000 轮训练,使用 测试数据集进行测试,1936(正确数量)/2000(总数据量)=96.80%
经过 21000 轮训练,使用 校验数据集 测试损失值为:0.053765200078487396。
经过 22000 轮训练,使用 校验数据集 测试损失值为:0.05256548896431923。
经过 23000 轮训练,使用 校验数据集 测试损失值为:0.05146101117134094。
经过 24000 轮训练,使用 校验数据集 测试损失值为:0.05044003576040268。
经过 25000 轮训练,使用 校验数据集 测试损失值为:0.0494927316904068。
经过 25000 轮训练,使用 测试数据集进行测试,1949(正确数量)/2000(总数据量)=97.45%
经过 26000 轮训练,使用 校验数据集 测试损失值为:0.048610806465148926。
经过 27000 轮训练,使用 校验数据集 测试损失值为:0.047787100076675415。
经过 28000 轮训练,使用 校验数据集 测试损失值为:0.047015562653541565。
经过 29000 轮训练,使用 校验数据集 测试损失值为:0.04629102721810341。
经过 30000 轮训练,使用 校验数据集 测试损失值为:0.04560888186097145。
经过 30000 轮训练,使用 测试数据集进行测试,1952(正确数量)/2000(总数据量)=97.60%