回归分析中的均方怎么算?回归和残差的均方(MS)怎么算?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了回归分析中的均方怎么算?回归和残差的均方(MS)怎么算?相关的知识,希望对你有一定的参考价值。

回归分析中的均方怎么算?回归和残差的均方(MS)怎么算?

回归平方和=自由度×均方

残差均方=残差平方和×残差df

残差F=回归均方÷残差均方

回归是方法,残差在数理统计中是指实际观察值与估计值(拟合值)之间的差,平方和有很多个,不同的平方和的意思不一样,与样本量及模型中自变量的个数有关,样本量越大,相应变异就越大。

df是自由度,是自由取值的变量个数;

均方指的是一组数的平方和的平均值,在统计学中,表示离差平方和与自由度之比;

f是f分布的统计量,用于检验该回归方程是否有意义;

SIG=significance,意为“显著性”,后面的值就是统计出的P值,如果P值0.01<P<0.05,则为差异显著,如果P<0.01,则差异极显著。

扩展资料:

线性回归使用最佳的拟合直线(也就是回归线)在因变量(Y)和一个或多个自变量(X)之间建立一种关系。

多元线性回归可表示为Y=a+b1*X +b2*X2+ e,其中a表示截距,b表示直线的斜率,e是误差项。多元线性回归可以根据给定的预测变量(s)来预测目标变量的值。

逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元(1 / 0,真/假,是/否)变量时,应该使用逻辑回归。这里,Y的值为0或1,它可以用下方程表示。

参考资料来源:百度百科-回归分析

参考技术A 回归平方和=自由度×均方
残差均方=残差平方和×残差df
残差F=回归均方÷残差均方

tensorflow的线性回归得到明显的均方误差

【中文标题】tensorflow的线性回归得到明显的均方误差【英文标题】:linear regression by tensorflow gets noticeable mean square error 【发布时间】:2018-09-24 11:07:44 【问题描述】:

我是 tensorflow 的新手,我正在尝试为回归实现一个简单的前馈网络,仅用于学习目的。完整的可执行代码如下。

回归均方误差在 6 左右,相当大。有点出乎意料,因为要回归的函数是线性的,简单的 2*x+y,我期待更好的性能。

我正在寻求帮助以检查我是否在代码中做错了什么。我仔细检查了矩阵维度,应该是好的,但我可能误解了某些东西,因此网络或会话配置不正确(例如,我应该多次运行训练会话,而不是只有一次(下面的代码由#TRAINING# 括起来)?我在一些示例中看到他们逐段输入数据,并逐步运行训练。我只运行一次训练并输入所有数据)。

如果代码不错,也许这是建模问题,但我真的不希望使用复杂的网络进行如此简单的回归。

import tensorflow as tf
import numpy as np
from sklearn.metrics import mean_squared_error

# inputs are points from a 100x100 grid in domain [-2,2]x[-2,2], total 10000 points
lsp = np.linspace(-2,2,100)
gridx,gridy = np.meshgrid(lsp,lsp)
inputs = np.dstack((gridx,gridy))
inputs = inputs.reshape(-1,inputs.shape[-1]) # reshpaes the grid into a 10000x2 matrix
feature_size = inputs.shape[1] # feature_size is 2, features are the 2D coordinates of each point
input_size = inputs.shape[0] # input_size is 10000

# a simple function f(x)=2*x[0]+x[1] to regress
f = lambda x: 2 * x[0] + x[1]
label_size = 1
labels = f(inputs.transpose()).reshape(-1,1) # reshapes labels as a column vector

ph_inputs = tf.placeholder(tf.float32, shape=(None, feature_size), name='inputs')
ph_labels = tf.placeholder(tf.float32, shape=(None, label_size), name='labels')

# just one hidden layer with 16 units
hid1_size = 16
w1 = tf.Variable(tf.random_normal([hid1_size, feature_size], stddev=0.01), name='w1')
b1 = tf.Variable(tf.random_normal([hid1_size, label_size]), name='b1')
y1 = tf.nn.relu(tf.add(tf.matmul(w1, tf.transpose(ph_inputs)), b1))

# the output layer
wo = tf.Variable(tf.random_normal([label_size, hid1_size], stddev=0.01), name='wo')
bo = tf.Variable(tf.random_normal([label_size, label_size]), name='bo')
yo = tf.transpose(tf.add(tf.matmul(wo, y1), bo))

# defines optimizer and predictor
lr = tf.placeholder(tf.float32, shape=(), name='learning_rate')
loss = tf.losses.mean_squared_error(ph_labels,yo)
optimizer = tf.train.GradientDescentOptimizer(lr).minimize(loss)
predictor = tf.identity(yo)

# TRAINING 
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
_, c = sess.run([optimizer, loss], feed_dict=lr:0.05, ph_inputs: inputs, ph_labels: labels)
# TRAINING 

# gets the regression results
predictions = np.zeros((input_size,1))
for i in range(input_size):
    predictions[i] = sess.run(predictor, feed_dict=ph_inputs: inputs[i, None]).squeeze()

# prints regression MSE
print(mean_squared_error(predictions, labels))

【问题讨论】:

也许你应该试试codereview.stackexchange.com @pissall 这可能与代码审查无关,因为代码可能无法按预期工作。无论哪种方式都有点不清楚,从措辞方式来看,我将其标记为不清楚。 【参考方案1】:

你是对的,你自己理解了这个问题。

事实上,问题在于您只运行了一次优化步骤。因此,您只需对网络参数进行一次更新,因此成本不会降低。

我刚刚更改了您的代码的培训课程,以使其按预期工作(100 个培训步骤):

# TRAINING
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
for i in range(100):
    _, c = sess.run(
        [optimizer, loss],
        feed_dict=
            lr: 0.05,
            ph_inputs: inputs,
            ph_labels: labels
        )
    print("Train step  loss value ".format(i, c))
# TRAINING

在训练步骤结束时,我会去:

训练步骤99损失值0.04462708160281181

0.044106700712455045

【讨论】:

以上是关于回归分析中的均方怎么算?回归和残差的均方(MS)怎么算?的主要内容,如果未能解决你的问题,请参考以下文章

sklearn 度量单位的准确性,平均绝对误差,回归问题的均方误差?

怎么用MATLAB计算均方误差啊

r语言计算均方误差怎么判断

对时间序列数据作出指数平滑预测后,如何用excel计算数据的均方误差(MSE)?

Numpy中的均方误差?

计算不同值范围的均方误差