如何将张量转换为 ndarray（内部带有对抗图像的张量）

Posted 2023-02-23

【中文标题】如何将张量转换为 ndarray（内部带有对抗图像的张量）

【英文标题】：How to convert Tensor to ndarray (tensor with adversarial images inside)

【发布时间】：2019-02-25 20:47:51

【问题描述】：

注意：我已经尝试了不同 SO 问题的解决方案，但均未成功，详情如下。

我正在研究cleverhans Pyhton 教程，重点关注this 代码（keras 模型案例）。 我有基本的 keras 知识，但我刚刚开始使用 Tensorflow（完全是新手）。

我正在尝试可视化这段代码中生成的对抗图像（引用自链接的 cleverhans 来源）：

# Initialize the Fast Gradient Sign Method (FGSM) attack object and graph
fgsm = FastGradientMethod(wrap, sess=sess)
fgsm_params = 'eps': 0.3,
               'clip_min': 0.,
               'clip_max': 1.
adv_x = fgsm.generate(x, **fgsm_params)
# Consider the attack to be constant
adv_x = tf.stop_gradient(adv_x)
preds_adv = model(adv_x)

据我了解，adv_x 应该包含生成的对抗性图像，我尝试将张量转换为ndarray，以便通过matplot 将其可视化。我在model(adv_x) 之前和之后都尝试过以下操作：

1) adv_x.eval()
2) adv_x.eval(sess)
3) sess.run(adv_x) 
4) ..and minor changes

没有按预期工作，我收到各种错误：

ValueError: Cannot evaluate tensor using `eval()`: No default session is registered. Use `with sess.as_default()` or pass an explicit session to `eval(session=sess)`

和

InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor 'Placeholder' with dtype float and shape [?,28,28,1]
 [[Node: Placeholder = Placeholder[dtype=DT_FLOAT, shape=[?,28,28,1], _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]

和

InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor 'Placeholder' with dtype float and shape [?,28,28,1]
     [[Node: Placeholder = Placeholder[dtype=DT_FLOAT, shape=[?,28,28,1], _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]
     [[Node: strided_slice/_115 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name="edge_152_strided_slice", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"]()]]

也尝试了with sess.as_default():，但没有成功。

adv_x 的类型是<class 'tensorflow.python.framework.ops.Tensor'>，它的形状是TensorShape([Dimension(None), Dimension(28), Dimension(28), Dimension(1)])。 在Debug控制台写adv_x，得到：<tf.Tensor 'StopGradient_4:0' shape=(?, 28, 28, 1) dtype=float32>

我还尝试处理张量 adv_x[0] 的一部分，但没有成功。

我有点迷茫，我想我错过了一些 TensorFlow 基础知识，或者我误解了教程（adv_x 是否有效地填充了数据？）。

如何将adv_x 转换为ndarray 类型？任何提示表示赞赏

问候

【参考方案1】：

我已经找到解决办法了，

看来Tensoradv_x更像是一个函数而不是一个值，需要输入（我目前没掌握tensorflow背后的复杂推理），所以需要调用@ 987654322@ 通过提供会话和字典。 字典包含一个条目，它是adv_x 输入占位符的名称和它的值。在我的例子中，我提供了 60000 个输入示例（图像）x_train 的列表。

请注意，在我的例子中占位符名称是 x，但我想您应该使用在 FastGradientMethod 对象构造函数中输入的占位符的变量名称。

adv_images = adv_x.eval(session=sess, feed_dict=x: x_train)

adv_images 是一个大小为 (60000,28,28,1) 的数组，ad1 = adv_images[1] 是一个灰度图像 (​​28,28,1)。

您可以使用 matplot，但需要稍微更改数组形状。 Matplot 灰度图像应该是二维数组：

matplotlib.pyplot.imshow(ad1[:,:,0])

这是我的解决方案，也许并非所有步骤都是强制性的，但你知道，你必须小心使用黑魔法 :-)

P.s：为了避免 Out of Memory 错误，您可以截断 x_train，例如，x_train2 = xtrain[0:100]

【讨论】：

好心，这在模型构建过程中有效吗？我的意思是，我可以将 conv1 转换为 nparray 以进行一些操作，然后将 nparray 转换回 Tenor 以将其馈送到下一个卷积层（conv2）。下面是一个简单的代码来澄清我的观点：inputs = Input(shape=(48,48,3)) conv1 = Conv2D(32, (3, 3), activation='relu', padding='same')(conv1 ) ##这里我需要得到conv1的激活图## conv2 = Conv2D(64, (3, 3), activation='relu', padding='same')(pool1)

很抱歉，我已经 3 年没有这样做了，我需要重新加载一些推理模块。我没有验证这条路线。所以..我不知道