使用执行上下文加载 neuraxle 管道时出错

Posted

技术标签:

【中文标题】使用执行上下文加载 neuraxle 管道时出错【英文标题】:Error loading neuraxle pipeline with execution context 【发布时间】:2021-05-16 01:17:59 【问题描述】:

当我保存一个关联了一个 ExecutionContext 的管道并尝试再次加载它时,我收到如下所示的错误。

from neuraxle.base import ExecutionContext, Identity
from neuraxle.pipeline import Pipeline

PIPELINE_NAME = 'saved_pipeline_name'
cache_folder = 'cache_folder'

pipeline = Pipeline([
    Identity()
]).with_context(ExecutionContext(cache_folder))

pipeline.set_name(PIPELINE_NAME).save(ExecutionContext(cache_folder), full_dump=True)
loaded_pipeline = ExecutionContext(cache_folder).load(PIPELINE_NAME)

错误信息:

Traceback (most recent call last):
  File "save_example.py", line 12, in <module>
    loaded_pipeline = ExecutionContext(cache_folder).load(PIPELINE_NAME)
  File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 555, in load
    ).load(context_for_loading, True)
  File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 3621, in load
    return loaded_self.load(context, full_dump)
  File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 1708, in load
    return self._load_step(context, savers)
  File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 1717, in _load_step
    loaded_self = saver.load_step(loaded_self, context)
  File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 3644, in load_step
    step.apply('_assert_has_services', context=context)
  File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 2316, in apply
    results: RecursiveDict = self._apply_childrens(results=results, method=method, ra=ra)
  File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 2327, in _apply_childrens
    for children in self.get_children():
  File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 2530, in get_children
    return [self.wrapped]
AttributeError: 'StepWithContext' object has no attribute 'wrapped'

没有with_context(ExecutionContext(cache_folder)) 加载工作正常。这是预期的行为,还是错误?在使用执行上下文时,保存管道的最佳做法是什么?

【问题讨论】:

您是否在保存和加载之间更新了 Neuraxle 的版本? 在此处作为问题记录:github.com/Neuraxio/Neuraxle/issues/445 请注意,如果您得到的内容看起来像错误,您可以直接记录问题,而不是在 *** 上提问。我不确定这是否真的是我尚未调查的错误。 我也不确定这是否是一个错误。由于无论如何都没有保存上下文,正如@vincent-antaki 在他的回答中指出的那样,我不确定是否应该保存 StepWithContext ,或者是否应该始终只保存包装的步骤。 提供的答案看起来不错! @eL_BaRTo 【参考方案1】:

StepWithContext 的保护程序中的函数调用错误。在接下来的一天左右,Neuraxle 的主存储库上将会发布一个修补程序。如果您可以等到那时,您的代码应该可以毫无问题地执行。

如果没有,我建议您通过直接在 StepWithContext 的包装步骤(即您的管道实例)上调用 save 来绕过 StepWithContext:

pipeline.wrapped.set_name(PIPELINE_NAME).save(ExecutionContext(cache_folder), full_dump=True)
loaded_pipeline = ExecutionContext(cache_folder).load(PIPELINE_NAME)

然后,您必须使用 .with_context() 调用使用 StepWithContext 重新包装 loaded_pipeline 实例。

当修补程序可用时,请记住,ExecutionContext 实例根本不会被保存,并且在加载时,StepWithContext 的上下文属性将被替换为用于加载的任何上下文。

如有任何其他问题,请随时问我!我很乐意回答他们。

干杯

【讨论】:

以上是关于使用执行上下文加载 neuraxle 管道时出错的主要内容,如果未能解决你的问题,请参考以下文章

如何使用 neuraxle 实现延迟数据加载的存储库?

在 neuraxle 管道中使用 fit_params

如何正确实现过滤 data_inputs 的 Neuraxle 管道步骤?

如何最好地处理 Neuraxle 管道中的错误和/或丢失数据?

Neuraxle 中的默认超参数值

是否可以将多个管道组合到 Neuraxle 或 sklearn 中的单个估计器中以创建多输出分类器并一次性适应