在经过培训的环境中，如何在特定状态下评估策略？

Question

我已经在自定义环境中训练了Ray-RLlib PPOTrainer。如何评估特定状态下的政策？

完整示例：

from ray.rllib.agents.ppo import PPOTrainer
from cust_env.envs import CustEnv
from ray.tune.logger import pretty_print

ray.init()
config = ppo.DEFAULT_CONFIG.copy()
config["num_workers"] = 2
config["eager"] = False
config["output"] = 'tmp/debug/'
trainer = PPOTrainer(config=config, env=TravelEnv)

# Can optionally call trainer.restore(path) to load a checkpoint.

for i in range(101):

   result = trainer.train()

   if i % 10 == 0:
       print(pretty_print(result))

是否有一种类似以下的方法，可以在给定状态下返回最佳动作？

policy = trainer.get_policy()
optimal_action_at_state_S = policy.get_optimal_action(S)

函数policy.compute_actions( )似乎是从随机策略中返回随机样本，而不是最佳操作。