日常回答小朋友问题

Posted 2021-02-21 xingnie

 

 

 

##########################################2020.0430

一时感想：最有效的模型，可能往往是你最不看好的简单模型，less is more

 

降低深度学习模型过拟合的方法

1.增加更多数据

2.使用数据增广技术（增加训练数据集，让数据集尽可能的多样化。目前数据增广主要包括：水平/垂直翻转，旋转，缩放，裁剪，剪切，平移，对比度，色彩抖动，噪声等https://zhuanlan.zhihu.com/p/43665254）

3.使用归纳性更好的架构

4.正规化数据

5.降低架构复杂度

##########################################

如何在2.0下运行1.x

 

import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()

 

 

 

#################################

基本的tf的流程来一套

作者：Doit
链接：https://www.zhihu.com/question/315403804/answer/679554916
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

1.导入tf.kerastensorflow2推荐使用keras构建网络，常见的神经网络都包含在keras.layer中(最新的tf.keras的版本可能和keras不同)import tensorflow as tf
from tensorflow.keras import layers
print(tf.__version__)
print(tf.keras.__version__)2.构建简单模型2.1模型堆叠最常见的模型类型是层的堆叠：tf.keras.Sequential 模型model = tf.keras.Sequential()
model.add(layers.Dense(32, activation=‘relu‘))
model.add(layers.Dense(32, activation=‘relu‘))
model.add(layers.Dense(10, activation=‘softmax‘))2.2网络配置tf.keras.layers中网络配置：activation：设置层的激活函数。此参数由内置函数的名称指定，或指定为可调用对象。默认情况下，系统不会应用任何激活函数。kernel_initializer 和 bias_initializer：创建层权重（核和偏差）的初始化方案。此参数是一个名称或可调用对象，默认为 "Glorot uniform" 初始化器。kernel_regularizer 和 bias_regularizer：应用层权重（核和偏差）的正则化方案，例如 L1 或 L2 正则化。默认情况下，系统不会应用正则化函数。layers.Dense(32, activation=‘sigmoid‘)
layers.Dense(32, activation=tf.sigmoid)
layers.Dense(32, kernel_initializer=‘orthogonal‘)
layers.Dense(32, kernel_initializer=tf.keras.initializers.glorot_normal)
layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l2(0.01))
layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l1(0.01))3.训练和评估3.1设置训练流程构建好模型后，通过调用 compile 方法配置该模型的学习流程：model = tf.keras.Sequential()
model.add(layers.Dense(32, activation=‘relu‘))
model.add(layers.Dense(32, activation=‘relu‘))
model.add(layers.Dense(10, activation=‘softmax‘))
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
             loss=tf.keras.losses.categorical_crossentropy,
             metrics=[tf.keras.metrics.categorical_accuracy])3.2输入Numpy数据import numpy as np

train_x = np.random.random((1000, 72))
train_y = np.random.random((1000, 10))

val_x = np.random.random((200, 72))
val_y = np.random.random((200, 10))

model.fit(train_x, train_y, epochs=10, batch_size=100,
          validation_data=(val_x, val_y))3.3tf.data输入数据dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))
dataset = dataset.batch(32)
dataset = dataset.repeat()
val_dataset = tf.data.Dataset.from_tensor_slices((val_x, val_y))
val_dataset = val_dataset.batch(32)
val_dataset = val_dataset.repeat()

model.fit(dataset, epochs=10, steps_per_epoch=30,
          validation_data=val_dataset, validation_steps=3)3.4评估与预测test_x = np.random.random((1000, 72))
test_y = np.random.random((1000, 10))
model.evaluate(test_x, test_y, batch_size=32)
test_data = tf.data.Dataset.from_tensor_slices((test_x, test_y))
test_data = test_data.batch(32).repeat()
model.evaluate(test_data, steps=30)
# predict
result = model.predict(test_x, batch_size=32)
print(result)4.构建高级模型4.1函数式apitf.keras.Sequential 模型是层的简单堆叠，无法表示任意模型。使用 Keras 函数式 API 可以构建复杂的模型拓扑，例如：多输入模型，多输出模型，具有共享层的模型（同一层被调用多次），具有非序列数据流的模型（例如，残差连接）。使用函数式 API 构建的模型具有以下特征：层实例可调用并返回张量。 输入张量和输出张量用于定义 tf.keras.Model 实例。 此模型的训练方式和 Sequential 模型一样。input_x = tf.keras.Input(shape=(72,))
hidden1 = layers.Dense(32, activation=‘relu‘)(input_x)
hidden2 = layers.Dense(16, activation=‘relu‘)(hidden1)
pred = layers.Dense(10, activation=‘softmax‘)(hidden2)

model = tf.keras.Model(inputs=input_x, outputs=pred)
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
             loss=tf.keras.losses.categorical_crossentropy,
             metrics=[‘accuracy‘])
model.fit(train_x, train_y, batch_size=32, epochs=5)4.2模型子类化通过对 tf.keras.Model 进行子类化并定义您自己的前向传播来构建完全可自定义的模型。在 init 方法中创建层并将它们设置为类实例的属性。在 call 方法中定义前向传播class MyModel(tf.keras.Model):
    def __init__(self, num_classes=10):
        super(MyModel, self).__init__(name=‘my_model‘)
        self.num_classes = num_classes
        self.layer1 = layers.Dense(32, activation=‘relu‘)
        self.layer2 = layers.Dense(num_classes, activation=‘softmax‘)
    def call(self, inputs):
        h1 = self.layer1(inputs)
        out = self.layer2(h1)
        return out

    def compute_output_shape(self, input_shape):
        shape = tf.TensorShape(input_shape).as_list()
        shape[-1] = self.num_classes
        return tf.TensorShape(shape)

model = MyModel(num_classes=10)
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
             loss=tf.keras.losses.categorical_crossentropy,
             metrics=[‘accuracy‘])

model.fit(train_x, train_y, batch_size=16, epochs=5)4.3自定义层通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层：build：创建层的权重。使用 add_weight 方法添加权重。call：定义前向传播。compute_output_shape：指定在给定输入形状的情况下如何计算层的输出形状。 或者，可以通过实现 get_config 方法和 from_config 类方法序列化层。class MyLayer(layers.Layer):
    def __init__(self, output_dim, **kwargs):
        self.output_dim = output_dim
        super(MyLayer, self).__init__(**kwargs)

    def build(self, input_shape):
        shape = tf.TensorShape((input_shape[1], self.output_dim))
        self.kernel = self.add_weight(name=‘kernel1‘, shape=shape,
                                   initializer=‘uniform‘, trainable=True)
        super(MyLayer, self).build(input_shape)

    def call(self, inputs):
        return tf.matmul(inputs, self.kernel)

    def compute_output_shape(self, input_shape):
        shape = tf.TensorShape(input_shape).as_list()
        shape[-1] = self.output_dim
        return tf.TensorShape(shape)

    def get_config(self):
        base_config = super(MyLayer, self).get_config()
        base_config[‘output_dim‘] = self.output_dim
        return base_config

    @classmethod
    def from_config(cls, config):
        return cls(**config)

model = tf.keras.Sequential(
[
    MyLayer(10),
    layers.Activation(‘softmax‘)
])


model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
             loss=tf.keras.losses.categorical_crossentropy,
             metrics=[‘accuracy‘])

model.fit(train_x, train_y, batch_size=16, epochs=5)4.3回调callbacks = [
    tf.keras.callbacks.EarlyStopping(patience=2, monitor=‘val_loss‘),
    tf.keras.callbacks.TensorBoard(log_dir=‘./logs‘)
]
model.fit(train_x, train_y, batch_size=16, epochs=5,
         callbacks=callbacks, validation_data=(val_x, val_y))5保持和恢复5.1权重保存model = tf.keras.Sequential([
layers.Dense(64, activation=‘relu‘),
layers.Dense(10, activation=‘softmax‘)])

model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
              loss=‘categorical_crossentropy‘,
              metrics=[‘accuracy‘])

model.save_weights(‘./weights/model‘)
model.load_weights(‘./weights/model‘)
model.save_weights(‘./model.h5‘)
model.load_weights(‘./model.h5‘)5.2保存网络结构# 序列化成json
import json
import pprint
json_str = model.to_json()
pprint.pprint(json.loads(json_str))
fresh_model = tf.keras.models.model_from_json(json_str)
# 保持为yaml格式  #需要提前安装pyyaml

yaml_str = model.to_yaml()
print(yaml_str)
fresh_model = tf.keras.models.model_from_yaml(yaml_str)5.3保存整个模型model = tf.keras.Sequential([
  layers.Dense(10, activation=‘softmax‘, input_shape=(72,)),
  layers.Dense(10, activation=‘softmax‘)
])
model.compile(optimizer=‘rmsprop‘,
              loss=‘categorical_crossentropy‘,
              metrics=[‘accuracy‘])
model.fit(train_x, train_y, batch_size=32, epochs=5)
model.save(‘all_model.h5‘)
model = tf.keras.models.load_model(‘all_model.h5‘)6.将keras用于EstimatorEstimator API 用于针对分布式环境训练模型。它适用于一些行业使用场景，例如用大型数据集进行分布式训练并导出模型以用于生产model = tf.keras.Sequential([layers.Dense(10,activation=‘softmax‘),
                          layers.Dense(10,activation=‘softmax‘)])

model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
              loss=‘categorical_crossentropy‘,
              metrics=[‘accuracy‘])

estimator = tf.keras.estimator.model_to_estimator(model)

View Code

 

数据清洗再更上

 

 

unique函数解析 

 

cnn和lstm怎么对接啊？cnn输出4维的，lstm要求输入3维的

长宽合并啊，AttnGAN那篇论文然后lstm里边第二个维度是通道还需要转置一下。

 

lstm units参数设置（ 1，2 ，3）

我感觉理解下来就是units是每一个绿色的cell里面，有四个黄色框，每一个黄色框有units个神经元

并不是一行有多少个lstm cell，官方文档给出的input shape是3维: (Batch_size, Time_step, Input_Sizes), 其中Time_step是时间序列的长度, 对应到语句里就是语句的最大长度; Input_Sizes是每个时间点输入x的维度, 对于语句来说,就是一个字的embedding的向量维度.
input = Input(shape=(100,), dtype=‘float32‘, name=‘main_input‘)
lstm1 = Bidirectional(LSTM(100, return_sequences=True))(input)
dropout1 = Dropout(0.2)(lstm1)
lstm2 = Bidirectional(LSTM(100, return_sequences=True))(dropout1)
lstm3 = Bidirectional(LSTM(100))(lstm2)
dropout2 = Dropout(0.2)(lstm3)
output = Dense(242, activation="softmax", name="main_output")(dropout2)

在给出的例子里, shape=(100, ), 没有定义batch_size和Input_Sizes.

另外, input_length指的也是输入句子的长度,即Time_step. 如下两种定义方式,表达的内容相同:

model = Sequential()
model.add(LSTM(32, batch_input_shape=(None, 10, 64)))
 
model = Sequential()
model.add(LSTM(32, input_length=10, input_dim=64))



LSTM的第一个参数units此处设置为100, 指的不是一层LSTM有100个LSTM单元. 在很多LSTM的框图里,会将LSTM单元按时间顺序排开, 句子长度多少就设置多少单元,实际上一层LSTM每个"单元"共享参数, 所以其实只有一个单元的参数量. LSTMCell也实际上指的是一层LSTM. 这里的units=100指的是这个LSTM单元内的隐藏层尺寸. 如下图所示,每个单元内会有三个门,对应了4个激活函数(3个 sigmoid,1个tanh), 即有4个神经元数量为100的前馈网络层.
————————————————
可以看到中间的 cell 里面有四个黄色小框，你如果理解了那个代表的含义一切就明白了，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐藏神经元个数，就这么简单。其中1、2、4的激活函数是 sigmoid，第三个的激活函数是 tanh。

View Code

 

如何设置神经网络隐藏层 的神经元个数

如果隐层结点数过少，网络不能具有必要的学习能力和信息处理能力。反之，若过多，不仅会大大增加网络结构的复杂性（这一点对硬件实现的网络尤其重要），网络在学习过程中更易陷入局部极小点，而且会使网络的学习速度变得很慢。隐层结点数的选择问题一直受到神经网络研究工作者的高度重视。

方法1： 
fangfaGorman指出隐层结点数s与模式数N的关系是：s＝log2N；

方法二： 
Kolmogorov定理表明，隐层结点数s＝2n＋1（n为输入层结点数）；

方法三： 
s＝sqrt（0.43mn＋0.12nn＋2.54m＋0.77n＋0.35）＋0.51 
（m是输入层的个数，n是输出层的个数）。

View Code

 

verbose用来显示进度

 

1. compile 装载
   1. 指定 optimizer。 Adam和SGD比较多
   2. 指定 loss        mse均方误差 mae平均绝对误差 mape平均绝对百分比误 msle均方对数误差 squared_hinge hinge(最常用在 SVM 中的最大化间隔分类中) binary_crossentropy对数损失函数,与sigmoid相对应的损失函数。 categorical_crossentropy多分类的对数损失函数，与softmax分类器相对应的损失函数(需要将标签转化为形如(nb_samples, nb_classes)的二值序列) sparse_categorical_crossentrop(使用该函数时仍然需要你的标签与输出值的维度相同，你可能需要在标签数据上增加一个维度：np.expand_dims(y,-1)) kullback_leibler_divergence cosine_proximity
   3. 指定 评估标准metrics　　输出:loss,acc mae … val_loss…val_acc… val_mae) 损失函数和准确率函数可由自己改写: 

2. fit 完成标准 train
   1. 指定 训练集 db
   2. 指定 epochs
   3. 指定 validation_data 测试集
   4. 指定 validation_freq 测试频率  可以提前停机停止训练 保存

 

 

补充在前：实际上在我使用LSTM为流量基线建模时候，发现有效的激活函数是elu、relu、linear、prelu、leaky_relu、softplus，对应的梯度算法是adam、mom、rmsprop、sgd，效果最好的组合是：prelu+rmsprop。

Optimizers:

  SGD：     学习率,  动量，学习规则设为step就好;  
  NAG:      学习率，动量，学习规则设为step就好;
  AdaGrad:  学习率=0.001，   学习规则为INV 参数设置power 0.75 gama0.5；
  AdaDelta：学习率=1 ，      学习规则fix
  RMSprop：学习率=0.001，   学习规则 INV or poly
  adam：   学习率=0.001，   学习规则 INV or poly, sigmoid

• SGD() (with or without momentum) 相关链接
• RMSprop()
• Adam()
• etc.

Losses:

• MeanSquaredError()
• KLDivergence()
• CosineSimilarity()
• etc.

Metrics:

• AUC()
• Precision()
• Recall()
• etc.