一次热编码期间的 RunTimeError
Posted
技术标签:
【中文标题】一次热编码期间的 RunTimeError【英文标题】：RunTimeError during one hot encoding 【发布时间】：2021-09-03 19:13:57 【问题描述】：我有一个数据集，其中类值以 1 步从 -2 变为 2 (i.e., -2,-1,0,1,2)，其中 9 标识未标记的数据。
使用一个热编码
self._one_hot_encode(labels)
我收到以下错误：RuntimeError: index 1 is out of bounds for dimension 1 with size 1
由于
self.one_hot_labels = self.one_hot_labels.scatter(1, labels.unsqueeze(1), 1)
错误应该从[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 9, 1, 1, 1, 1, 1, 1] 引发，我在映射设置中有 9 等于索引 9 到 1。我不清楚如何修复它，即使在经历了过去的问题和类似问题的答案（例如， index 1 is out of bounds for dimension 0 with size 1)。
错误涉及的部分代码如下：
def _one_hot_encode(self, labels):
# Get the number of classes
classes = torch.unique(labels)
classes = classes[classes != 9] # unlabelled
self.n_classes = classes.size(0)
# One-hot encode labeled data instances and zero rows corresponding to unlabeled instances
unlabeled_mask = (labels == 9)
labels = labels.clone() # defensive copying
labels[unlabeled_mask] = 0
self.one_hot_labels = torch.zeros((self.n_nodes, self.n_classes), dtype=torch.float)
self.one_hot_labels = self.one_hot_labels.scatter(1, labels.unsqueeze(1), 1)
self.one_hot_labels[unlabeled_mask, 0] = 0
self.labeled_mask = ~unlabeled_mask
def fit(self, labels, max_iter, tol):
self._one_hot_encode(labels)
self.predictions = self.one_hot_labels.clone()
prev_predictions = torch.zeros((self.n_nodes, self.n_classes), dtype=torch.float)
for i in range(max_iter):
# Stop iterations if the system is considered at a steady state
variation = torch.abs(self.predictions - prev_predictions).sum().item()
prev_predictions = self.predictions
self._propagate()
数据集示例：
ID Target Weight Label Score Scale_Cat Scale_num
0 A D 65.1 1 87 Up 1
1 A X 35.8 1 87 Up 1
2 B C 34.7 1 37.5 Down -2
3 B P 33.4 1 37.5 Down -2
4 C B 33.1 1 37.5 Down -2
5 S X 21.4 0 12.5 NA 9
我用作参考的源代码在这里：https://mybinder.org/v2/gh/thibaudmartinez/label-propagation/master?filepath=notebook.ipynb
错误的完整跟踪：
---------------------------------------------------------------------------
RuntimeError Traceback (most recent call last)
<ipython-input-126-792a234f63dd> in <module>
4 label_propagation = LabelPropagation(adj_matrix_t)
----> 6 label_propagation.fit(labels_t) # causing error
7 label_propagation_output_labels = label_propagation.predict_classes()
8
<ipython-input-115-54a7dbc30bd1> in fit(self, labels, max_iter, tol)
100
101 def fit(self, labels, max_iter=1000, tol=1e-3):
--> 102 super().fit(labels, max_iter, tol)
103
104 ## Label spreading
<ipython-input-115-54a7dbc30bd1> in fit(self, labels, max_iter, tol)
58 Convergence tolerance: threshold to consider the system at steady state.
59 """
---> 60 self._one_hot_encode(labels)
61
62 self.predictions = self.one_hot_labels.clone()
<ipython-input-115-54a7dbc30bd1> in _one_hot_encode(self, labels)
42 labels[unlabeled_mask] = 0
43 self.one_hot_labels = torch.zeros((self.n_nodes, self.n_classes), dtype=torch.float)
---> 44 self.one_hot_labels = self.one_hot_labels.scatter(1, labels.unsqueeze(1), 1)
45 self.one_hot_labels[unlabeled_mask, 0] = 0
46
RuntimeError: index 1 is out of bounds for dimension 1 with size 1
【问题讨论】：
【参考方案1】：我浏览了您的笔记本（我认为您将 9 更改为 -1 以便运行）并看到这部分代码：
# Learn with Label Propagation
label_propagation = LabelPropagation(adj_matrix_t)
print("Label Propagation: ", end="")
label_propagation.fit(labels_t)
label_propagation_output_labels = label_propagation.predict_classes()
最终调用：
self.one_hot_labels = self.one_hot_labels.scatter(1, labels.unsqueeze(1), 1)
是哪里出了问题。
花点时间在这里阅读有关 scatter 的 pytorch 手册：torch Scatter，我们了解到对于 scatter，了解 dim、index、src 和 self 矩阵很重要。对于一个热编码，dim=1 或 0 无关紧要，我们的 src 矩阵是 1（我们稍后会对此进行深入研究）。您现在在维度 1 上调用 scatter，索引矩阵为 [40,1]，结果（自我）矩阵为 [40,5]。
我在这里看到两个问题：
-
您正在使用文字类别虚拟变量 (-2,-1,0,1,2) 作为索引矩阵中的编码索引。这将导致 scatter 在 src 矩阵中搜索这些索引。 这是索引超出范围的来源
您提到有 6 类 -2、-1、0、1、2 和 9 用于未标记，但您是 5 类的热编码。 （是的，我知道您希望未标记的类全为零，但使用 scatter 实现这一点有点困难。我稍后会解释）。
那么我们该如何解决这个问题呢？
问题一：我们从一个小例子开始：
index = torch.tensor([[5],[0],[3],[5],[1],[4]]); print(index.shape); print(index)
result = torch.zeros(6, 6, dtype=src.dtype).scatter_(1, index, src); print(result.shape); print(result)
这会给我们
torch.Size([6, 1])
tensor([[5],
[0],
[3],
[5],
[1],
[4]])
torch.Size([6, 6])
tensor([[0, 0, 0, 0, 0, 1],
[1, 0, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0],
[0, 0, 0, 0, 0, 1],
[0, 1, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0]])
索引矩阵是 6 个观测值和 1 个观测值（类别） 自矩阵是 6 个观测值，具有 6 个类别的一个热编码向量 scatter(dim=1) 创建 self 矩阵的方式是 torch 首先检查行（观察），然后将该行的值更改为存储在 src 矩阵中同一行但在列中的值的值存储在索引中的值。
self[i][index[i][j][k]][k] = src[i][j][k]
因此，在您的情况下，您试图将 1 的值应用到 self[40,1] 中 index[0] 列的一行（等于 1）。给你问题中的错误。虽然我检查了你的笔记本并且错误是 对于大小为 5 的维度 1，索引 -1 超出范围。它们都是相同的根本原因。
问题 2：单热编码
在这种情况下，使用冷编码执行完整的 one-hot 而不是 one-hot 更容易。原因是对于带有冷编码的 one-hot，您需要在 src 矩阵中为每个未标记的观察创建一个 0 值。这比仅仅使用 1 作为 src 更痛苦。另请阅读此链接：Is it valid to have full zeros for OHE? 我认为对每个类别都使用 one-hot 更有意义。
所以，对于第二个问题，我们只需要简单地在 result/self 矩阵的索引中映射类别。由于我们有 6 个类别，我们只需将它们映射为 0、1、2、3、4、5。一个简单的 lambda 函数就可以解决问题。我使用随机采样器从类列表中获取我的数据标签，如下所示：（我从 6 个类中随机创建了 40 个观察值）
classes = list([-2,-1,0,1,2,9])
labels = list()
for i in range(0,40):
labels.append(list([(lambda x: x+2 if x !=9 else 5)(random.sample(classes,1)[0])]))
index_aka_labels = torch.tensor(labels)
print(index_aka_labels)
print(index_aka_labels.shape)
torch.zeros(40, 6, dtype=src.dtype).scatter_(1, index_aka_labels, 1)
最后，我们实现了 OHE 的预期结果：
tensor([[0, 0, 0, 0, 0, 1],
[0, 0, 1, 0, 0, 0],
[0, 0, 0, 0, 1, 0],
[0, 0, 0, 0, 1, 0],
... (40 observations)
[0, 1, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0],
[1, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 1],
【讨论】：
感谢您的详细回答。我已应用您建议的更正，但仍有问题，因为我收到此错误：RuntimeError: Index tensor must have the same number of dimensions as self tensor 由于这些步骤：---> 64 self._one_hot_encode(labels) 66 self.predictions = self.one_hot_labels.clone() ---> 48 self.one_hot_labels = self.one_hot_labels.scatter(1, index_aka_labels, 1)。您能否在答案中添加几行，显示 OHE 函数中的正确替换以及如何调用它？以上是关于一次热编码期间的 RunTimeError的主要内容，如果未能解决你的问题，请参考以下文章