Caffe : Layer Catalogue

Posted 2020-08-07 静悟生慧

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Caffe : Layer Catalogue相关的知识，希望对你有一定的参考价值。

TanH / Hyperbolic Tangent

类型（type）：TanH
CPU 实现： ./src/caffe/layers/tanh_layer.cpp
CUDA、GPU实现： ./src/caffe/layers/tanh_layer.cu

例子

layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "TanH"
}

对于每一个输入值x，TanH layer的输出为tanh(x)。

Absolute Value
- 类型（type）：AbsVal
- CPU 实现： ./src/caffe/layers/absval_layer.cpp
- CUDA、GPU实现： ./src/caffe/layers/absval_layer.cu
- 例子
- ```
layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "AbsVal"
}
```
  对于每一个输入值x，AbsVal layer的输出为abs(x)。
  
  Power
- ```
layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "Power"
  power_param {
    power: 1
    scale: 1
    shift: 0
  }
}
```
  对于每一个输入值x，Power layer的输出为(shift + scale * x) ^ power。
  
  BNLL
  - 类型（type）：BNLL（二项正态对数似然，binomial normal log likelihood）
  - CPU 实现： ./src/caffe/layers/bnll_layer.cpp
  - CUDA、GPU实现： ./src/caffe/layers/bnll_layer.cu
  - 例子
  - ```
  layer {
    name: "layer"
    bottom: "in"
    top: "out"
    type: BNLL
  }
```
  对于每一个输入值x，BNLL layer的输出为log(1 + exp(x))。
- --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
- Data Layers
  
  Data 通过Data Layers进入Caffe，Data Layers位于Net的底部。
  Data 可以来自：1、高效的数据库（LevelDB 或 LMDB）；2、内存；3、HDF5或image文件（效率低）。
  基本的输入预处理（例如：减去均值，缩放，随机裁剪，镜像处理）可以通过指定TransformationParameter达到。
  
  Database
  - 类型（type）：Data（数据库）
  - 参数：
    - 必要：
      
      source: the name of the directory containing the database（数据库名称）
      
      batch_size: the number of inputs to process at one time（每次处理的输入的数据量）
    - 可选：
      
      rand_skip: skip up to this number of inputs at the beginning; useful for asynchronous sgd（在开始的时候跳过这个数值量的输入；这对于异步随机梯度下降是非常有用的）
      
      backend [default LEVELDB]: choose whether to use a LEVELDB or LMDB（选择使用LEVELDB 数据库还是LMDB数据库，默认为LEVELDB）
  In-Memory
  - 类型（type）：MemoryData
  - 参数：
    - 必要：
      
      batch_size, channels, height, width: specify the size of input chunks to read from memory（4个值，确定每次读取输入数据量的大小）
  Memory Data Layer从内存直接读取数据（而不是复制数据）。使用Memory Data Layer之前，必须先调用，MemoryDataLayer::Reset（C++方法）或Net.set_input_arrays（Python方法）以指定一个source来读取一个连续的数据块（4D，按行排列），每次读取大小由batch_size决定。
  
  HDF5 Input
  - 类型（type）：HDF5Data
  - 参数：
    - 必要：
      
      source: the name of the file to read from（读取的文件的名称）
      
      batch_size（每次处理的输入的数据量）
  HDF5 Output
  - 类型（type）：HDF5Output
  - 参数：
    - 必要：
      
      file_name: name of file to write to（写入的文件的名称）
    HDF5 output layer与这部分的其他layer的功能正好相反，不是读取而是写入。
  Images
  - 类型（type）：ImageData
  - 参数：
    - 必要：
      
      source: name of a text file, with each line giving an image filename and label（一个text文件的名称，每一行指定一个image文件名和label）
      
      batch_size: number of images to batch together（每次处理的image的数据）
    - 可选：
      
      rand_skip: （在开始的时候跳过这个数值量的输入）
      
      shuffle [default false]（是否随机乱序，默认为否）
      -new_height, new_width: if provided, resize all images to this size（缩放所有的image到新的大小）
  Windows
  - 类型（type）：WindowData
  - （没有详解）
  Dummy
  - 类型（type）：DummyData
  DummyData 用于开发和测试，详见DummyDataParameter（没有给出链接）。
- --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
- Common Layers
  
  Inner Product
```
  layer {
    name: "fc8"                              # 名称：fc8
    type: "InnerProduct"                     # 类型：全连接层
    # 权重（weights）的学习速率因子和衰减因子
    param { lr_mult: 1 decay_mult: 1 }
    # 偏置项（biases）的学习速率因子和衰减因子
    param { lr_mult: 2 decay_mult: 0 }
    inner_product_param {
      num_output: 1000                       # 1000个滤波器（filters）
      weight_filler {
        type: "gaussian"                     # 初始化高斯滤波器（Gaussian）
        std: 0.01                            # 标准差为0.01， 均值默认为0
      }
      bias_filler {
        type: "constant"                     # 初始化偏置项（bias）为零
        value: 0
      }
    }
    bottom: "fc7"                            # 输入层：fc7
    top: "fc8"                               # 输出层：fc8
  }
```
InnerProduct layer（常被称为全连接层）将输入视为一个vector，输出也是一个vector（height和width被设为1）

Splitting
- 类型（type）：Split
Split layer用于将一个输入的blob分离成多个输出的blob。这用于当需要将一个blob输入至多个输出layer时。

Flattening
- 类型（type）：Flatten
Flatten layer用于把一个维度为n * c * h * w的输入转化为一个维度为 n * (c*h*w)的向量输出。

Reshape
```
   layer {
      name: "reshape"                       # 名称：reshape
      type: "Reshape"                       # 类型：Reshape
      bottom: "input"                       # 输入层名称：input
      top: "output"                         # 输出层名称：output
      reshape_param {
        shape {
          dim: 0  # 这个维度与输入相同
          dim: 2
          dim: 3
          dim: -1 # 根据其他维度自动推测
        }
      }
    }
```
Reshape layer只改变输入数据的维度，但内容不变，也没有数据复制的过程，与Flatten layer类似。

输出维度由reshape_param 指定，正整数直接指定维度大小，下面两个特殊的值：
- 0 => 表示copy the respective dimension of the bottom layer，复制输入相应维度的值。
- -1 => 表示infer this from the other dimensions，根据其他维度自动推测维度大小。reshape_param中至多只能有一个-1。
再举一个例子：如果指定reshape_param参数为：{ shape { dim: 0 dim: -1 } } ，那么输出和Flattening layer的输出是完全一样的。

Concatenation