如何在 C++ 中快速计算向量的归一化 l1 和 l2 范数？

Posted 2023-02-22

【中文标题】如何在 C++ 中快速计算向量的归一化 l1 和 l2 范数？

【英文标题】：How to fast calculate the normalized l1 and l2 norm of a vector in C++?

【发布时间】：2016-12-30 07:57:42

【问题描述】：

我有一个矩阵 X，它在 d 维空间中有 n 列数据向量。 给定一个向量 xj，v[j] 是它的 l1 范数（所有 abs(xji) 的总和)，w[j] 是其 l2 范数（所有 xji^2 的总和）的平方，pj[ i] 是条目除以 l1 和 l2 范数的组合。最后，我需要输出：pj, v, w 用于子序列应用程序。

// X = new double [d*n]; is the input.
double alpha = 0.5;
double *pj = new double[d];
double *x_abs = new double[d];
double *x_2 = new double[d];
double *v = new double[n]();
double *w = new double[n]();
for (unsigned long j=0; j<n; ++j) 
        jm = j*m;
        jd = j*d;
        for (unsigned long i=0; i<d; ++i) 
            x_abs[i] = abs(X[i+jd]);
            v[j] += x_abs[i];
            x_2[i] = x_abs[i]*x_abs[i];
            w[j] += x_2[i];    
        
        for (unsigned long i=0; i<d; ++i)
            pj[i] = alpha*x_abs[i]/v[j]+(1-alpha)*x_2[i]/w[j];     
        

   // functionA(pj) ... ...  for subsequent applications
 
// functionB(v, w) ... ... for subsequent applications

我上面的算法需要 O(nd) Flops/Time-complexity，任何人都可以通过使用 Building-functoin 或 C++ 中的新实现来帮助我加快它的速度吗？减少 O(nd) 中的常数值对我也很有帮助。

【问题讨论】：

不是内存分配的瓶颈吗？你不能将预先分配的数组传递给函数吗？

您可以尝试在第二个循环之外计算a = alpha/v[j] 和b = (1-alpha)/w[j]，然后改为计算pj[i] = a*x_abs[i] + b*x_2[i];。但是，编译器可能已经为您进行了优化，并且由于浮点错误，结果可能会略有不同

@Bathsheba 我对内存使用没有任何限制。请继续。谢谢。

你可以为x_abs[i] = abs(X[i + jd]);创建第三个for循环。然后编译器将使用矢量化来加速第二个循环（包含x_2[i] = ... 等的循环）。

@MBo 内部的for (unsigned long i=0; i<d; ++i) x_abs[i] = abs(X[i+jd]); ... etc 应该已经告诉您存储是“主要向量”（向量的所有分量都存储在连续的位置）

【参考方案1】：

让我猜猜：由于您遇到与性能相关的问题，因此您的向量的维度非常大。如果是这种情况，那么值得考虑“CPU 缓存位置” - 关于此 @ 的一些有趣信息987654321@。 如果数据在 CPU 缓存中不可用，那么在 CPU 等待数据时，abs-ing 或平方它一旦可用就相形见绌了。

考虑到这一点，您可能希望尝试以下解决方案（不保证会提高性能 - 编译器在优化代码时实际上可能会应用这些技术）

for (unsigned long j=0; j<n; ++j) 
        // use pointer arithmetic - at > -O0 the compiler will do it anyway
        double *start=X+j*d, *end=X+(j+1)*d;

        // this part avoid as much as possible the competition
        // on CPU caches between X and v/w.
        // Don't store the norms in v/w as yet, keep them in registers
        double l1norm=0, l2norm=0;
        for(double *src=start; src!=end; src++) 
            double val=*src;
            l1norm+=abs(src);
            l2norm+= src*src;
        
        double pl1=alpha/l1norm, pl2=(1-alpha)*l2norm;
        for(double *src=start, *dst=pj; src!=end; src++, dst++) 
          // Yes, recomputing abs/sqr may actually save time by not
          // creating competition on CPU caches with x_abs and x_2
          double val=*src;
          *dst = pl1*abs(val) + pl2*val*val;
            
        // functionA(pj) ... ...  for subsequent applications

        // Think well if you really need v/w. If you really do,
        // at least there are two values to be sent for storage into memory,
        //meanwhile the CPU can actually load the next vector into cache
        v[j]=l1norm; w[j]=l2norm;

// functionB(v, w) ... ... for subsequent applications