什么是加权最小二乘法,它可以解决什么问题？

Posted 2023-04-19

着急！请会的人迅速回复，用来答选择提的，不需要太长

最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。 　　最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 　　最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。 　　比如从最简单的一次函数y=kx+b讲起 　　已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式. 　　当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求. 参考技术A 最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。

最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。

最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

“数据融合”总结1

参考技术A

融合标准 ：以融合数据与数据真实值的偏差作为数据融合方法的稳定性判定依据。
所提方法 ：加权最小二乘法在数据融合

常用的融合方法有：

加权最小二乘法融合
对于数据线性模型基于加权最小二乘法融合算法为：

所提方法 ：基于多维特征融合（几何特征、颜色特征和纹理特征）与 Adaboost-SVM 强分类器的车辆目标识别算法。
仅提取了大量特征，文中直接说对构建多维特征向量。

首先用光流法提取步态周期，获得一个周期的步态能量图（GEI）；然后分三层提取 GEI的 LBP特征，得到三层的 LBP图像；依次提取每层LBP图像的HOG特征，最后将每层提取的LBP和HOG特征融合（串联拼接），得到每层的新特征最后将三个新特征依次融合成可以用于识别的最终特征。

提出一个FLANN结构进行特征融合，functional link artificial neural networks。FLANN是一个单层非线性网络，输入X_k是n维向量，输出y_k是一个标量，训练数据集为X_k, y_k，偏置集合T用来增强网络的非线性能力，这些函数值的线性组合可以用它的矩阵形式表示S=WT, Y=tanh(S)。FLANN和MLP的主要区别是FLANN只有输入和输出层，中间的隐藏层完全被非线性映射代替，事实上，MLP中隐藏层的任务由Functional expansions来执行。

三种Functional expansions :

提出了三种融合策略：早期融合、中期融合和晚期融合。早期融合也就是特征级融合，决策级融合也就是晚期融合。
特征级融合 ：
直接将不同方法提取的特征进行串联。

多核学习（Multiple kernel learning, MKL) :
参考自文献。MKL由巴赫创立。核学习算法在多类问题的分类任务中表现出良好的性能。为了将内核学习算法应用于特征组合，每个单独的内核与每个特征链接在一起。因此，特征组合问题就变成了核组合问题。在支持向量机中，采用单核函数，而在MKL中，利用核的求和或积定义了不同核的线性组合。

提出一种新颖的系统，它利用训练好的卷积神经网络（CNN）的多阶段特征，并精确地将这些特征与一系列手工特征相结合。手工提取的特征包括三个子集：

所提出的系统采用一种新颖的决策级特征融合方法对ECG进行分类，分别利用了三种融合方法：

在多数表决的基础上，将三种不同分类器的个体决策融合在一起，并对输入的心电信号分类做出统一的决策。

通过对图像进行对偶树复小波变换（DTCWT）和快速傅里叶变换（FFT）提取特征，将二者通过 算数加法（arithmetic addition） 融合为一个特征集合。

DTCWAT特征 ：对图像进行5层小波分解得到384个小波系数
FFT特征 ：采用傅里叶变换生成图像的绝对系数，然后排序后取前384个作为fft特征
算数加法特征融合 ：

本文提出了一种快速的特征融合方法将深度学习方法和传统特征方法相结合。

浅层网络结构 ：

每个特性的重要性应根据应用程序和需求的不同而有所不同。因此，为了实现动态权值分配，我们提出了多特征融合模型。

使用Curvelet变换进行特征提取，因为它有效地从包含大量C2曲线的图像中提取特征。Curvelet Transform具有很强的方向性,能更好地逼近和稀疏表达平滑区域和边缘部分。
我们应用了基于包装的离散Curvelet变换，使用了一个实现快速离散Curvelet变换的工具箱Curvelab-2.1.2。在实验中使用了默认的方向和5层离散Curvelet分解。
使用标准差进行降维
串联融合方法

在本文中，提出了一种深度多特征融合方法（Deep multiple feature fusion，DMFF）对高光谱图像进行分类。

基于gcForest的思想，提出了DMFF方法。
gcForest
gcForest模型主要包含两个部分：

DMFF
DMFF去掉了Multigrained Scanning，缺失了多样性输入，因为采用多特征来进行弥补。随即森林都是同一种类型。