MATLAB：2个向量中所有索引的快速相关计算

Posted 2023-02-16

【中文标题】MATLAB：2个向量中所有索引的快速相关计算

【英文标题】：MATLAB: Fast correlation computation for all indices in 2 vectors

【发布时间】：2017-12-21 16:28:41

【问题描述】：

我有 2 个向量 A 和 B，每个向量的长度为 10,000。对于每个ind=1:10000，我想计算A(1:ind) 和B(1:ind) 的皮尔逊相关性。当我在 for 循环中执行此操作时，会花费太多时间。 parfor 不适用于我的机器中超过 2 名工人。有没有办法快速执行此操作并将结果保存在向量 C 中（显然长度为 10,000，其中第一个元素是 NaN）？我找到了问题Fast rolling correlation in Matlab，但这与我需要的有点不同。

【参考方案1】：

您可以使用此方法计算累积相关系数：

function result = cumcor(x,y)
    n = reshape(1:numel(x),size(x));
    sumx = cumsum(x);
    sumy = cumsum(y);
    sumx2 = cumsum(x.^2);
    sumy2 = cumsum(y.^2);
    sumxy = cumsum(x.*y);
    result = (n.*sumxy-sumx.*sumy)./(sqrt((sumx.^2-n.*sumx2).*(sumy.^2-n.*sumy2)));
end

【参考方案2】：

解决方案

我建议以下方法：

可以使用the following formula 计算 Pearson 相关性：

有效地计算上述每个随机变量的累积平均值非常容易 (X, Y, XY, X^2, Y^2)。

给定2中计算的累积平均值，我们可以计算X和Y的累积标准。

给定 X,Y 的累积标准和上面的累积平均值，我们可以计算累积的皮尔逊系数。

代码

%defines inputs
N = 10000;
X = rand(N,1);
Y = rand(N,1);

%calculates accumolative mean for X, Y, X^2, Y^2, XY
EX = accumMean(X);
EY = accumMean(Y);
EX2 = accumMean(X.^2);
EY2 = accumMean(Y.^2);
EXY = accumMean(X.*Y);

%calculates accumolative pearson correlation
accumPearson = zeros(N,1);
for ii=2:N
    stdX = (EX2(ii)-EX(ii)^2).^0.5;
    stdY = (EY2(ii)-EY(ii)^2).^0.5;
    accumPearson(ii) = (EXY(ii)-EX(ii)*EY(ii))/(stdX*stdY);
end

%accumulative mean function, to be defined in an additional m file.
function [ accumMean ] = accumMean( vec )
accumMean = zeros(size(vec));
accumMean(1) = vec(1);
for ii=2:length(vec)
   accumMean(ii) = (accumMean(ii-1)*(ii-1) +vec(ii))/ii;
end

end

运行时

对于 N=10000：

Elapsed time is 0.002096 seconds.

对于 N=1000000：

Elapsed time is 0.240669 seconds.

正确性

测试上面代码的正确性可以通过corr函数计算累积的皮尔逊系数，并与上面代码给出的结果进行比较：

%ground truth for correctness comparison
gt = zeros(N,1)
for z=1:N
    gt(z) = corr(X(1:z),Y(1:z));
end

很遗憾，我没有统计和机器学习工具箱，因此无法进行此项检查。 我确实认为这是一个好的开始，您可以从这里继续 :)