tf.matmul(x, W) + b

Posted 2020-10-23 nowgood





\\(w^{(l)}_{ij}\\)| 第 \\(l\\) 层第 \\(j\\) 个单元与第 \\(l+1\\) 层第 \\(i\\) 个单元之间的链接参数

在理论推导中， \\(b \\in R^{3\\times1}\\) 的列向量， 一条数据输入 \\(x = (x_1, x_2, x_3)^T\\) 为列向量， 而实际中输入数据以行存储，所以我们将推导公式求转置

\\[Wx+b \\Rightarrow (Wx+b)^T= x^TW^T + b^T \\]

这样一条输入数据就是一行，对应行向量。所以 \\(tensorflow\\) 中运算 \\(tf.matmul(x, W) + b\\) 有以下几点需要注意：

1. \\(b \\in R^{1\\times n}\\)为行向量 (其中 n 为该层神经元的个数，一个神经元对应一个偏置)
2. 输出相对应的系数为矩阵 W 的一列
3. 一行输入数据对应一行输出数据