text tf.nn.l2_loss和tf.nn.l2_normalize

Posted 2021-05-01

tf.nn.l2_loss形如1/2Σw2,一般用于优化的目标函数中的正则项，防止参数太多复杂容易过拟合。它没有开方并且只取 L2 范数的值的一半。
。具体用法是：
  weight_decay = tf.multiply(tf.nn.l2_loss(weight), weight_decay, name='weight_loss')
  tf.add_to_collection('losses', weight_decay)


tf.nn.l2_normalize(x, dim, epsilon=1e-12, name=None) 是对参数x进行normalize，不是求其损失而是对tensor指定维度做normlize，输出的维度不变。x为输入的向量；dim为l2范化的维数
。