满足复杂条件时提前停止 ray.tune 实验?

Posted

技术标签:

【中文标题】满足复杂条件时提前停止 ray.tune 实验?【英文标题】:Early stopping ray.tune experiments when complex conditions are met? 【发布时间】:2019-08-24 20:30:42 【问题描述】:

当明显过度拟合或一个指标长时间没有改善时,有没有办法停止 ray.tune 实验(例如使用 PBT)?

【问题讨论】:

我们在此 PR 中为每个试验添加了更高级的停止标准 - github.com/ray-project/ray/pull/4468;如果这不适合您的用例,您能告诉我更多有关您要做什么的信息吗? @richliaw 是的,这正是我所需要的。您是否有包含此版本的 ETA?另外,ray 很棒,感谢您的工作! 可能在 2 周内?您现在可以做的一种解决方法是手动设置一些衡量改进或过度拟合的数量,然后设置停止标准以在数量过高时终止任务。 【参考方案1】:

现在,Tune with https://github.com/ray-project/ray/pull/12750 很好地支持了这一点。

在此处查看文档:https://docs.ray.io/en/master/tune/api_docs/stoppers.html#stopping-mechanisms-tune-stopper

例如:

tune.run(Trainable, num_samples=200, stop=TimeStopper())

【讨论】:

以上是关于满足复杂条件时提前停止 ray.tune 实验?的主要内容,如果未能解决你的问题,请参考以下文章

[Ray.Tune] [已解决] TypeError: ray.cloudpickle.dumps

[Ray.Tune] [已解决] TypeError: ray.cloudpickle.dumps

[Ray.Tune]使用心得(待完善)

[Ray.Tune]使用心得(待完善)

如何在 Ray Tune 中定义与搜索算法无关的高维搜索空间?

[Ray.Tune] [已解决] Queue objects should only be shared between processes through inheritance