AWS DeepRacer ROS 架构 模拟环境和真实赛道的区别

Posted 2021-10-05 架构师易筋

1. ROS 架构

此时，您知道 Amazon SageMaker 训练您的强化学习模型，Amazon RoboMaker 模拟了该模型的环境，而 Gazebo 则模拟赛车的物理定律。因此，现在让我们来谈谈环境和智能体如何彼此交谈。一组称为机器人操作系统或 ROS 的库和工具可以在机器人的各个部分之间进行通信。这包括它的环境。

因此，一旦您将优化模型从模拟器移动到物理 Amazon DeepRacer，并且模拟动作空间映射到物理动作空间后，ROS 节点会推断/预测结果，以便在本地主机内自主驱动它。

2. 移动到真实世界的赛道

如上所述，一旦您将赛车车移动到真实世界的赛道，将注意到赛车性能的几个差异。本视频重点介绍了其中一些差异。

3. 在理想的世界中

好吧，我们已经讨论了真实环境与模拟环境有何不同，以及为什么赛车在真实环境和模拟环境中的表现不同。现在我们来看看有关如何将模拟模型理想地过渡到现实世界的一些策略。

有三种策略可以帮助您的模型有效地从模拟器过渡到现实世界。第一个策略已经内置在模拟器中，另外两个策略到目前为止是理论上的。请查看下面的三种策略。单击它们，以展开并阅读更多信息。

3.1 环境控制

–
这是已经内置在 Amazon DeepRacer 中的策略。用于在模拟器中为赛车创造一个可以在现实世界中看到的环境：蓝天、绿草、暗路等。这也包括实体。如果在模拟器中的动作导致特定的结果，那么现实世界中的动作需要导致相同的结果，反之亦然。假设模拟模型设置为 40％ 油门，您需要思考“好吧，如果我采用不同的表面纹理，赛车转弯的速度是否会相同？”实质上，模拟环境受到控制，以便该模型为适应模拟器外面的情况做好充分的准备。

下一个目前属于理论性的策略称为“域随机化”。理论上，您要为模型提供随机数据。这是什么意思？让我们深入研究一下。

3.2 域随机化

–
目前，赛车拍摄彩色图像，但是在将其发送到模型之前，无论赛车是在训练还是在评估、模拟课程还是真实世界中，它们都会转换为灰度。因此，当赛车训练时，它会以灰度进行训练，并且寻找灰度的图案。请思考一下路中间的分界线。这个分界线是白色的，而路是黑色的。因此，模型学习到这些颜色的渐变有所不同，并将重点放在它们上。也许它会学习到，停留在黑暗的道路上可以获得奖励，有一定阴影也可以，但较轻的阴影却不行。或者，也许您已经根据白线优化了在拐角周围的驾驶。

然后您把赛车放在现实世界中，比如在木地板或白地毯上，它会变得困惑。理论上，您会使用域随机化来改变赛车在模拟器中看到的颜色和纹理。也许它会看到白线，或者可能是黄色或绿色线。无论如何，在模型训练的过程中，它会告诉赛车不要专注于物品的颜色，而是专注于物品本身 – 事实上有一条线。

图像随机化将有助于模型调整适应多种颜色的渐变，并习惯于看到阴影（深色）或反射（光线）之类的东西。

Y3LvrTfVThgTgiUN.jpg
训练这样的模型将需要更长的时间，因为您必须为其提供更多的数据 – 但是当您的模型从模拟器移动到现实世界时，它的配备会更好。

让我们来看看第三种策略。

3.3 模块化和抽象

–
另一种理论上的策略是第三种策略，称为模块化和抽象。这与管理深度神经网络有关，并且可以通过在训练强化学习模型之前建立 CNN（卷积神经网络）来实现。如果您构建了一个能够识别道路、线或田野的 CNN，那么可以将其插入模型中。这将使模型更容易学习，因为它已经知道什么是道路或建筑物等等。

由于新的 CNN 已经有图像，并将其分类为“道路”、“非道路”、“建筑物”、“赛车”等，因此它可以帮助模型确定是否可驾驶。

因此，这是为了将模拟模型放入现实世界。当您要缩小模型在模拟世界与在现实世界中的性能差距时，请考虑环境控制、域随机化以及模块化和抽象。您可能还无法实施此类策略，但是您可以考虑赛车在现实世界中将看到的颜色、形状和尺寸，最大限度地减少视觉干扰，仔细校准 Amazon DeepRacer 的油门和转向，因此，训练中使用的动作空间与现实世界保持一致。

一旦您把所有这些都放在模拟世界中，看看接下来会发生什么 – 即端到端的体验，在此您可以将我们迄今为止讨论的很多内容付诸实践。

参考

https://www.aws.training/Details/eLearning?id=75478