如何将 NumPy 数组标准化为单位向量?

Posted

技术标签:

【中文标题】如何将 NumPy 数组标准化为单位向量?【英文标题】:How to normalize a NumPy array to a unit vector? 【发布时间】:2015-08-25 21:15:33 【问题描述】:

我想将 NumPy 数组转换为单位向量。更具体地说,我正在寻找这个归一化函数的等效版本:

def normalize(v):
    norm = np.linalg.norm(v)
    if norm == 0: 
       return v
    return v / norm

这个函数处理向量v的范数为0的情况。

sklearnnumpy有没有类似的功能?

【问题讨论】:

你写的有什么问题? 如果这确实是一个问题,您应该检查 norm raise一个异常! 我的函数有效,但我想知道 python 的更常用库中是否有一些东西。我正在编写不同的机器学习函数,我希望避免定义太多新函数以使代码更清晰易读 我做了一些快速测试,发现x/np.linalg.norm(x) 在 CPU 上的 numpy 1.15.1 中并不比 x/np.sqrt((x**2).sum()) 慢多少(大约 15-20%)。 【参考方案1】:

如果你使用 scikit-learn,你可以使用 sklearn.preprocessing.normalize:

import numpy as np
from sklearn.preprocessing import normalize

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True

【讨论】:

感谢您的回答,但您确定 sklearn.preprocessing.normalize 也适用于 shape=(n,) 或 (n,1) 的向量吗?我在使用这个库时遇到了一些问题 normalize 需要二维输入。您可以传递 axis= 参数来指定是否要跨输入数组的行或列应用规范化。 请注意,normalize 函数的“norm”参数可以是“l1”或“l2”,默认为“l2”。如果您希望向量的总和为 1(例如概率分布),则应在归一化函数中使用 norm='l1'。 另外注意np.linalg.norm(x)默认计算'l2'范数。如果您希望向量的总和为 1,则应使用 np.linalg.norm(x, ord=1) 注意:x 必须是 ndarray 才能与 normalize() 函数一起使用。否则它可以是list【参考方案2】:

我同意,如果这样的函数是包含库的一部分,那就太好了。但据我所知,它不是。所以这里有一个任意轴的版本,可以提供最佳性能。

import numpy as np

def normalized(a, axis=-1, order=2):
    l2 = np.atleast_1d(np.linalg.norm(a, order, axis))
    l2[l2==0] = 1
    return a / np.expand_dims(l2, axis)

A = np.random.randn(3,3,3)
print(normalized(A,0))
print(normalized(A,1))
print(normalized(A,2))

print(normalized(np.arange(3)[:,None]))
print(normalized(np.arange(3)))

【讨论】:

我不知道;但它适用于任意轴,我们可以明确控制长度为 0 的向量会发生什么。 非常好!这应该是 numpy 的——尽管我认为 order 可能应该在 axis 之前。 @EelcoHoogendoorn 想知道为什么选择 order=2 而不是其他人? 因为欧几里得/毕达哥拉斯范数恰好是最常用的范数;你不同意吗? 很晚了,但我认为值得一提的是,这正是不鼓励使用小写字母“L”作为变量名的原因……在我的字体中,“l2”与“12”没有区别【参考方案3】:

这也可能对你有用

import numpy as np
normalized_v = v / np.sqrt(np.sum(v**2))

但当 v 的长度为 0 时失败。

在这种情况下,引入一个小常数来防止零除可以解决这个问题。

【讨论】:

【参考方案4】:

您可以指定 ord 以获得 L1 范数。 为了避免零除,我使用 eps,但这可能不是很好。

def normalize(v):
    norm=np.linalg.norm(v, ord=1)
    if norm==0:
        norm=np.finfo(v.dtype).eps
    return v/norm

【讨论】:

规范化[inf, 1, 2] 产生[nan, 0, 0],但不应该是[1, 0, 0]吗? 一段时间过去了,但答案是否定的,[nan, 0, 0] 是正确的,因为规范是 infinf/inf 是不确定的形式,因为 <everything>/inf0 但也是正确的inf/<everything>inf,所以无法确定 inf/inf【参考方案5】:

如果您有多维数据并希望将每个轴标准化为其最大值或总和:

def normalize(_d, to_sum=True, copy=True):
    # d is a (n x dimension) np array
    d = _d if not copy else np.copy(_d)
    d -= np.min(d, axis=0)
    d /= (np.sum(d, axis=0) if to_sum else np.ptp(d, axis=0))
    return d

使用 numpys peak to peak 函数。

a = np.random.random((5, 3))

b = normalize(a, copy=False)
b.sum(axis=0) # array([1., 1., 1.]), the rows sum to 1

c = normalize(a, to_sum=False, copy=False)
c.max(axis=0) # array([1., 1., 1.]), the max of each row is 1

【讨论】:

注意,如果原始矩阵中的所有值都相同,那么 ptp 将为 0。除以 0 将返回 nan。【参考方案6】:

你提到了 sci-kit learn,所以我想分享另一个解决方案。

sci-kit 学习 MinMaxScaler

在sci-kit learn中,有一个API叫MinMaxScaler,可以自定义取值范围。

它还为我们处理 NaN 问题。

NaN 被视为缺失值:在拟合中忽略,并保持 在变换。 ...见参考文献[1]

代码示例

代码很简单,只要输入

# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)
参考 [1]sklearn.preprocessing.MinMaxScaler

【讨论】:

这是一种不同类型的转换。 OP想要缩放向量的大小,使每个向量的长度为1; MinMaxScaler 单独缩放每一列,使其在一定范围内。【参考方案7】:

Christoph Gohlke 在流行的transformations 模块中还有一个函数unit_vector() 来规范化向量:

import transformations as trafo
import numpy as np

data = np.array([[1.0, 1.0, 0.0],
                 [1.0, 1.0, 1.0],
                 [1.0, 2.0, 3.0]])

print(trafo.unit_vector(data, axis=1))

【讨论】:

【参考方案8】:

如果您使用多维数组,则可以使用以下快速解决方案。

假设我们有一个二维数组,我们想通过最后一个轴对其进行归一化,而有些行的范数为零。

import numpy as np
arr = np.array([
    [1, 2, 3], 
    [0, 0, 0],
    [5, 6, 7]
], dtype=np.float)

lengths = np.linalg.norm(arr, axis=-1)
print(lengths)  # [ 3.74165739  0.         10.48808848]
arr[lengths > 0] = arr[lengths > 0] / lengths[lengths > 0][:, np.newaxis]
print(arr)
# [[0.26726124 0.53452248 0.80178373]
# [0.         0.         0.        ]
# [0.47673129 0.57207755 0.66742381]]

【讨论】:

【参考方案9】:

如果您正在使用 3D 矢量,则可以使用工具带 vg 简洁地执行此操作。它是 numpy 之上的一个轻量层,它支持单值和堆叠向量。

import numpy as np
import vg

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = vg.normalize(x)
print np.all(norm1 == norm2)
# True

我在上次创业时创建了这个库,它的动机是这样的:简单的想法在 NumPy 中过于冗长。

【讨论】:

【参考方案10】:

如果您不需要最高精度,您的功能可以简化为:

v_norm = v / (np.linalg.norm(v) + 1e-16)

【讨论】:

【参考方案11】:

没有sklearn,只使用numpy。 只需定义一个函数:。

假设 行是变量列是样本 (axis= 1):

import numpy as np

# Example array
X = np.array([[1,2,3],[4,5,6]])

def stdmtx(X):
    means = X.mean(axis =1)
    stds = X.std(axis= 1, ddof=1)
    X= X - means[:, np.newaxis]
    X= X / stds[:, np.newaxis]
    return np.nan_to_num(X)

输出:

X
array([[1, 2, 3],
       [4, 5, 6]])

stdmtx(X)
array([[-1.,  0.,  1.],
       [-1.,  0.,  1.]])

【讨论】:

这些输出数组没有单位范数。减去均值并给出样本单位方差不会产生单位向量。【参考方案12】:

如果你想对存储在 3D 张量中的 n 维特征向量进行归一化,你也可以使用 PyTorch:

import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize

vecs = np.random.rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()

【讨论】:

【参考方案13】:

如果你想要 [0; 1] for 1d-array 然后使用

(a - a.min(axis=0)) / (a.max(axis=0) - a.min(axis=0))

a 是你的1d-array

一个例子:

>>> a = np.array([0, 1, 2, 4, 5, 2])
>>> (a - a.min(axis=0)) / (a.max(axis=0) - a.min(axis=0))
array([0. , 0.2, 0.4, 0.8, 1. , 0.4])

方法说明。为了保存值之间的比例,有一个限制:1d-array 必须至少有一个0,并且由0positive 数字组成。 p>

【讨论】:

以上是关于如何将 NumPy 数组标准化为单位向量?的主要内容,如果未能解决你的问题,请参考以下文章

将数组规范化为标准正态分布

python - 如何在python numpy中标准化二维数组的一维? [复制]

如何将 NumPy 数组标准化到一定范围内?

如何将 numpy 数组转换为标准 TensorFlow 格式?

将数字向量转换为标准单位向量的函数

多维空间中的随机单位向量