如何在 OpenAI 中创建新的健身房环境？

Posted 2023-02-16

【中文标题】如何在 OpenAI 中创建新的健身房环境？

【英文标题】：How to create a new gym environment in OpenAI?

【发布时间】：2017-12-17 12:35:05

【问题描述】：

我的任务是制作一个 AI 代理，该代理将学习使用 ML 玩视频游戏。我想使用 OpenAI Gym 创建一个新环境，因为我不想使用现有环境。如何创建新的自定义环境？

另外，我有没有其他方法可以开始开发，让 AI Agent 在没有 OpenAI Gym 帮助的情况下玩特定的视频游戏？

【参考方案1】：

绝对有可能。他们在文档页面中这样说，接近尾声。

https://gym.openai.com/docs

至于怎么做，你应该看看现有环境的源代码以获得灵感。它在 github 上可用：

https://github.com/openai/gym#installation

他们的大多数环境不是从头开始实现的，而是围绕现有环境创建了一个包装器，并为其提供了一个便于强化学习的界面。

如果您想自己制作，您可能应该朝这个方向走，并尝试将已经存在的东西调整到健身房界面。虽然这很有可能非常耗时。

还有另一个选项可能对您的目的感兴趣。这是 OpenAI 的宇宙

https://universe.openai.com/

它可以与网站集成，以便您在 kongregate 游戏中训练模型。但是 Universe 不像 Gym 那样好用。

如果您是初学者，我的建议是您从标准环境中的普通实现开始。在你通过基础问题后，继续增加......

【讨论】：

如果想要为非数字活动（如井字游戏或魔方）创建一个环境，其中可能的状态是有限的并且可以很好地定义？我应该只制作一个包含所有可能状态的列表吗？模拟如何从给定状态中找出有效的目的地状态？

【参考方案2】：

请参阅我的banana-gym，了解极小的环境。

创建新环境

查看存储库的主页：

https://github.com/openai/gym/blob/master/docs/creating_environments.md

步骤如下：

创建具有 PIP 包结构的新存储库

应该是这样的

gym-foo/
  README.md
  setup.py
  gym_foo/
    __init__.py
    envs/
      __init__.py
      foo_env.py
      foo_extrahard_env.py

关于它的内容，请点击上面的链接。没有提到的细节特别是foo_env.py中的一些功能应该是什么样子。查看示例和gym.openai.com/docs/ 会有所帮助。这是一个例子：

class FooEnv(gym.Env):
    metadata = 'render.modes': ['human']

    def __init__(self):
        pass

    def _step(self, action):
        """

        Parameters
        ----------
        action :

        Returns
        -------
        ob, reward, episode_over, info : tuple
            ob (object) :
                an environment-specific object representing your observation of
                the environment.
            reward (float) :
                amount of reward achieved by the previous action. The scale
                varies between environments, but the goal is always to increase
                your total reward.
            episode_over (bool) :
                whether it's time to reset the environment again. Most (but not
                all) tasks are divided up into well-defined episodes, and done
                being True indicates the episode has terminated. (For example,
                perhaps the pole tipped too far, or you lost your last life.)
            info (dict) :
                 diagnostic information useful for debugging. It can sometimes
                 be useful for learning (for example, it might contain the raw
                 probabilities behind the environment's last state change).
                 However, official evaluations of your agent are not allowed to
                 use this for learning.
        """
        self._take_action(action)
        self.status = self.env.step()
        reward = self._get_reward()
        ob = self.env.getState()
        episode_over = self.status != hfo_py.IN_GAME
        return ob, reward, episode_over, 

    def _reset(self):
        pass

    def _render(self, mode='human', close=False):
        pass

    def _take_action(self, action):
        pass

    def _get_reward(self):
        """ Reward is given for XY. """
        if self.status == FOOBAR:
            return 1
        elif self.status == ABC:
            return self.somestate ** 2
        else:
            return 0

使用你的环境

import gym
import gym_foo
env = gym.make('MyEnv-v0')

示例

https://github.com/openai/gym-soccer https://github.com/openai/gym-wikinav https://github.com/alibaba/gym-starcraft https://github.com/endgameinc/gym-malware https://github.com/hackthemarket/gym-trading https://github.com/tambetm/gym-minecraft https://github.com/ppaquette/gym-doom https://github.com/ppaquette/gym-super-mario https://github.com/tuzzer/gym-maze

【讨论】：

我得到一个丑陋的“gym_foo 导入但未使用”。我怎样才能摆脱它？

@hipoglucido 要摆脱“gym_foo 已导入但未使用”，您需要告诉编辑器忽略此导入。这通常使用import gym_foo # noqa

完成

我认为应该大声声明您不需要任何这些，只需要派生类对吗？如果您不通过健身房生态系统进行区分，真的没有理由创建包吗？

for "gym_foo" 执行上述步骤后导入错误，执行pip install -e . 命令帮助@hipoglucido