TensorFlow

Posted 2020-10-15 ^西江月$

一  基本概念:

　　

Tensorflow是一个计算密集型的编程系统，使用图（graphs）来表示计算任务，图（graphs）中的节点称之为op（operation），一个op获得0个或多个Tensor，执行计算，产生0个或多个Tensor。 Tensor 看作是一个 n 维的数组或列表。图必须在会话（Session）里被启动

 

使用图（graphs）来表示计算任务
在被称之为会话（Session）的上下文（context）中执行图
使用tensor表示数据
通过变量（Variable）维护状态
使用feed和fetch可以为任意的操作赋值或者从其中获取数据

 

Tensorflow结构 

 

 二 安装:

ubantu  py3.5版:

 CPU版本：

pip install http://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.1-cp35-cp35m-linux_x86_64.whl

Windows  在有 安装Anaconda的情况下

 CPU版本：

　　pip install --upgrade --ignore-installed tensorflow

 

三  初识tensorflow   (以下内容都基于1.0版本,不同版本会有些差异)

　　1、图

　　图默认已经注册，一组表示 tf.Operation计算单位的对象和tf.Tensor 表示操作之间流动的数据单元的对象

　　获取默认图:

tf.get_default_graph()

　　创建新图并使用:

g = tf.Graph()

with g.as_default():#在上下文管理器(with模块)中,g作为默认图
　　a = tf.constant(1.0)

 

　　2、会话

　　运行TensorFlow操作图的类，使用默认注册的图（可以指定运行图）

　　会话可能拥有很多资源，如 tf.Variable，tf.QueueBase 和tf.ReaderBase，会话结束后需要进行资源释放(可以用with上下文管理器实现)

　　会话运行后返回值异常:     RuntimeError：如果它Session处于无效状态（例如已关闭）。

　　　　　　　  　　　　TypeError：如果fetches或feed_dict键是不合适的类型。

　　　　　　　   　　　　ValueError：如果fetches或feed_dict键无效或引用 Tensor不存在

　　Tensorflow 中Feed操作(占位):

　　　　意义：在程序执行的时候，不确定输入的是什么，提前“占个坑”

　　　　语法：placeholder提供占位符，run时候通过feed_dict指定参数

　　　　例:

import tensorflow as tf
val1 = tf.placeholder(tf.float32)
val2 = tf.placeholder(tf.float32)
sum = tf.add(val1, val2)
with tf.Session() as sess:
    print(sess.run(sum,feed_dict={val1:1.0, val2:2.0}))

 

　　3、张量

　　　　张量是Tensorflow基本的数据格式, 有三部分:形状，数据类型，名字

　　　　张量的阶:

　　　　

　　　　张量的数据类型:

　　　　

　　　　张量的属性:  graph(张量所属的默认图)  　　op(张量的操作名)  　　name(张量的字符串描述) 　　shape(张量形状)

　　　　张量的动态形状与静态形状:

　　　　静态形状： 创建一个张量或者由操作推导出一个张量时,初始状态的形状

　　　　 tf.Tensor.get_shape:获取静态形状

　　　　 tf.Tensor.set_shape():更新Tensor对象的静态形状，通常用于在不能直接推 断的情况下

　　　　注意:

　　　　　　1、转换静态形状的时候，遵循1-D到1-D，2-D到2-D的规则，不能跨阶数改变形状

　　　　　　2、 对于已经固定或者设置静态形状的张量／变量，不能再次设置静态形状

　　　　动态形状： 一种描述原始张量在执行过程中的一种形状

　　　　tf.reshape:改变原来的形状创建一个具有不同动态形状的新张量

　　　　注意:

 　　　　　　1、tf.reshape()动态创建新张量时，元素个数需要和改变前的个数匹配

　　　　生成张量:

　　　　tf.random_normal(shape,mean=0.0, stddev=1.0,dtype=tf.float32,seed=None,name=None)   (常用)

　　　　tf.zeros(shape,dtype=tf.float32,name=None)

　　　　tf.ones(shape,dtype=tf.float32,name=None)

　　　　tf.constant(value,dtype=None,shape=None,name="Const")

　　　　... ...

　　　　详细的可以参考API(中文):http://wiki.jikexueyuan.com/project/tensorflow-zh/api_docs/python/index.html

 

　　　　张量的转换(常用):

　　　　tf.String_to_number(string_tensor,out_type=None,name=None)

　　　　tf.cast(x, dtype, name=None)

　　　　tf.shape(input, name=None)

　　　　tf.reshape(tensor, shape, name=None)

　　　　... ...

　　　　张量的拓展:

　　　　tf.concat(values, axis, name=\'concat\')

 

　　4、变量

　　　　　　变量也是一种OP，是一种特殊的张量，能够进行存储持久化，它的 值就是张量

　　　　1)、变量的创建

　　　　　　tf.Variable(initial_value=None,name=None) 创建一个带值initial_value的新变量    name属性表示变量名字

　　　　　　assign(value) 为变量分配一个新值 返回新值

　　　　　　eval(session=None) 计算并返回此变量的值

　　　　2)、变量的初始化

　　　　　　tf.global_variables_initializer()

　　　　3)、变量的作用域

　　　　　　作用 : 让模型代码更加清晰，作用分明, 在tensorboard中更易阅读

　　　　　　创建:

 　　　　　　tf.variable_scope(<scope_name>)创建指定名字的 变量作用域

　　　　如:　

with tf.variable_scope("train"):
    \'\'\'
　　作用域内的代码
　　\'\'\'

 

　　5、可视化学习Tensorboard

　　　 TensorBoard 通过读取 TensorFlow 的数据序列化-events文件来运行

　　　在程序中加入代码:

　　　　　　tf.summary.FileWriter(\'路径\', graph= 想可视化的图)       返回filewriter,写入事件文件到指定目录(最好用绝对路径)，以提供给tensorboard使用

　　　在命令行开启:

　　　　 　　tensorboard --logdir=/tmp/tensorflow/summary/test/

　　　一般浏览器打开为127.0.0.1:6006

　　　注：修改程序后，再保存一遍会有新的事件文件，打开默认为最新

　　　tensorboard中,图的符号意义:

　　　　

　　　在tensorboard中显示变量的变化:

　　　　1、收集变量: tf.summary.scalar(name=’’,tensor) 收集对于损失函数和准确率 等单值变量,name为变量的名字，tensor为值

　　　　　　　　　　tf.summary.histogram(name=‘’,tensor) 收集高维度的变量参数 　　　　　　　　

　　　　　　　　　　tf.summary.image(name=‘’,tensor) 收集输入的图片张量能显示图片

　　　　2、合并变量写入事件文件:merged = tf.summary.merge_all()

　　　　3、运行合并：summary = sess.run(merged)，每次迭代都需运行

　　　　4、添加：FileWriter.add_summary(summary,i),i表示第几次的值

 

　　6、模型保存和加载

　　　　创建一个Saver对象(假设返回saver,用于模型保存和加载):

　　　　　　tf.train.Saver(var_list=None,max_to_keep=5)  其中:

　　　　　　　　var_list:指定将要保存和还原的变量。它可以作为一个 dict或一个列表传递.

　　　　　　　　max_to_keep：指示要保留的最近检查点文件的最大数量。 创建新文件时，会删除较旧的文件。如果无或0，则保留所有 检查点文件。默认为5（即保留最新的5个检查点文件。）

　　　　保存模型:

　　　　saver.save(sess,"保存模型的路径(自己指定目录即可)"

　　　　保存文件格式：checkpoint文件

　　　　加载模型:

　　　　saver.restore(sess,"保存模型的路径(和上面的路径一致)"

 

　　7、自定义命令行参数

 　　　　1、tf.app.flags,它支持应用从命令行接收参数,可以用来指定集群配置等.在它下面有各种定义参数的类型:

　　　　　　DEFINE_string(flag_name, default_value, docstring)

　　　　　　DEFINE_integer(flag_name, default_value, docstring)

　　　　　　DEFINE_boolean(flag_name, default_value, docstring)

　　　　　　DEFINE_float(flag_name, default_value, docstring)

　　　　2、tf.app.flags.,在flags有一个FLAGS标志，它在程序中可以调用到我们 前面具体定义的flag_name

　　　　3、通过tf.app.run()启动main(argv)函数

　　8、用以上知识实现一个简单的线性回归案例

def mylinearregression():
    """
    自实现线性回归
    :return: None
    """
    with tf.variable_scope("data"):  #作用域
        # 手动创建训练数据
        # x表示训练数据的特征  有100个样本，1个特征   
        X = tf.random_normal([100, 1], mean=0.0, stddev=1.0, name="X")    #生成一组服从标准正太分布的数据
        # y_true表示训练数据的标签,   跟x是线性关系
        y_true = tf.matmul(X, [[0.7]]) + 0.8

    with tf.variable_scope("model"):   #作用域
        # 建立模型
        # 由准备的数据(x是100行1列的数据,y_true也是100行1列的数据)可以看出,权重是 1行1列的数据
        weights = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="weights")
        bias = tf.Variable(0.0)
        # 得出预测值
        y_predict = tf.matmul(X, weights) + bias

    with tf.variable_scope("Optimize"):   #作用域
        # 计算真实值与预测值之间的均方误差(损失函数)
        loss = tf.reduce_mean(tf.square(y_true - y_predict))   #tf.square求方差  tf.reduce_mean求均值

        # 梯度下降优化误差，指定学习率，返回一个梯度下降优化器
        train_op = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

    # 收集变量
    tf.summary.scalar("loss", loss)
    tf.summary.scalar("bias", bias)

    tf.summary.histogram("weight", weights)

    # 定义初始化变量OP
    init_op = tf.global_variables_initializer()

    # 定义一个合并变量的OP
    merged = tf.summary.merge_all()

    # 创建一个Saver
    saver = tf.train.Saver()

    # 开启会话
    with tf.Session() as sess:
        # 运行初始化
        sess.run(init_op)

        # 打印一下初始化随机的权重和偏置
        print("随机初始化的权重为%f,偏置为%f" % (weights.eval(), bias.eval()))

        # 创建事件文件
        filewriter = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph) #此路径只须指定目录且目录存在

        # 加载模型
        if os.path.exists("./tmp/ckpt/checkpoint"):  #此路径中目录与模型保存的目录一致,文件名固定为checkpoint 
            saver.restore(sess, "./tmp/ckpt/regressionmodel")#此路径与模型保存的路径一致

        # 循环优化， 30是指定训练的步数(可更改)
        for i in range(30):
            # 运行优化
            sess.run(train_op)

            # 运行合并结果
            summary = sess.run(merged)

            # 写入变量结果
            filewriter.add_summary(summary, i)

            print("训练第%d次的结果：权重为%f,偏置为%f" % (i, weights.eval(), bias.eval()))

　　　　　# 保存模型
        saver.save(sess, "./tmp/ckpt/regressionmodel")#路径中的目录路径须存在,且要指定文件名称

return None 

 

# 自定义命令行参数
tf.app.flags.DEFINE_string("data_home", "./data/", "训练数据来源")
tf.app.flags.DEFINE_integer("max_step", 10000, "训练步数")

FLAGS = tf.app.flags.FLAGS

def main(argv):
    print(argv)
    print(FLAGS.data_home)
    print(FLAGS.max_step)

if __name__ == "__main__":
    tf.app.run()