在 GCP Dataflow 上的 python apache 光束中使用 scipy
Posted
技术标签:
【中文标题】在 GCP Dataflow 上的 python apache 光束中使用 scipy【英文标题】：Using scipy in python apache beam on GCP Dataflow 【发布时间】：2022-01-15 06:48:42 【问题描述】：我有一个用 python apache beam 编写的管道，并在其中编写了一些代码来使用 scipy。当我部署它时，我看到以下问题：
numpy.distutils.system_info.NotFoundError: 没有 BLAS/LAPACK 库 成立。注意：不再支持加速。
我该如何解决这个问题？
【问题讨论】：
【参考方案1】：出现问题是因为您的 python 项目中缺少两个库。
运行下一个命令来安装它们。
conda install -c conda-forge liblapack
【讨论】：
以上是关于在 GCP Dataflow 上的 python apache 光束中使用 scipy的主要内容，如果未能解决你的问题，请参考以下文章
通过 python SDK 创建 GCP Dataflow 模板问题
GCP Dataflow + Apache Beam - 缓存问题
包括自定义 PTransform 导致在 GCP 的 Dataflow 作业中找不到依赖项