使用执行上下文加载 neuraxle 管道时出错
Posted
技术标签:
【中文标题】使用执行上下文加载 neuraxle 管道时出错【英文标题】:Error loading neuraxle pipeline with execution context 【发布时间】:2021-05-16 01:17:59 【问题描述】:当我保存一个关联了一个 ExecutionContext 的管道并尝试再次加载它时,我收到如下所示的错误。
from neuraxle.base import ExecutionContext, Identity
from neuraxle.pipeline import Pipeline
PIPELINE_NAME = 'saved_pipeline_name'
cache_folder = 'cache_folder'
pipeline = Pipeline([
Identity()
]).with_context(ExecutionContext(cache_folder))
pipeline.set_name(PIPELINE_NAME).save(ExecutionContext(cache_folder), full_dump=True)
loaded_pipeline = ExecutionContext(cache_folder).load(PIPELINE_NAME)
错误信息:
Traceback (most recent call last):
File "save_example.py", line 12, in <module>
loaded_pipeline = ExecutionContext(cache_folder).load(PIPELINE_NAME)
File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 555, in load
).load(context_for_loading, True)
File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 3621, in load
return loaded_self.load(context, full_dump)
File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 1708, in load
return self._load_step(context, savers)
File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 1717, in _load_step
loaded_self = saver.load_step(loaded_self, context)
File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 3644, in load_step
step.apply('_assert_has_services', context=context)
File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 2316, in apply
results: RecursiveDict = self._apply_childrens(results=results, method=method, ra=ra)
File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 2327, in _apply_childrens
for children in self.get_children():
File ".env/lib/python3.7/site-packages/neuraxle/base.py", line 2530, in get_children
return [self.wrapped]
AttributeError: 'StepWithContext' object has no attribute 'wrapped'
没有with_context(ExecutionContext(cache_folder))
加载工作正常。这是预期的行为,还是错误?在使用执行上下文时,保存管道的最佳做法是什么?
【问题讨论】:
您是否在保存和加载之间更新了 Neuraxle 的版本? 在此处作为问题记录:github.com/Neuraxio/Neuraxle/issues/445 请注意,如果您得到的内容看起来像错误,您可以直接记录问题,而不是在 *** 上提问。我不确定这是否真的是我尚未调查的错误。 我也不确定这是否是一个错误。由于无论如何都没有保存上下文,正如@vincent-antaki 在他的回答中指出的那样,我不确定是否应该保存 StepWithContext ,或者是否应该始终只保存包装的步骤。 提供的答案看起来不错! @eL_BaRTo 【参考方案1】:StepWithContext 的保护程序中的函数调用错误。在接下来的一天左右,Neuraxle 的主存储库上将会发布一个修补程序。如果您可以等到那时,您的代码应该可以毫无问题地执行。
如果没有,我建议您通过直接在 StepWithContext 的包装步骤(即您的管道实例)上调用 save 来绕过 StepWithContext:
pipeline.wrapped.set_name(PIPELINE_NAME).save(ExecutionContext(cache_folder), full_dump=True)
loaded_pipeline = ExecutionContext(cache_folder).load(PIPELINE_NAME)
然后,您必须使用 .with_context() 调用使用 StepWithContext 重新包装 loaded_pipeline 实例。
当修补程序可用时,请记住,ExecutionContext 实例根本不会被保存,并且在加载时,StepWithContext 的上下文属性将被替换为用于加载的任何上下文。
如有任何其他问题,请随时问我!我很乐意回答他们。
干杯
【讨论】:
以上是关于使用执行上下文加载 neuraxle 管道时出错的主要内容,如果未能解决你的问题,请参考以下文章
如何正确实现过滤 data_inputs 的 Neuraxle 管道步骤?