如何在 GCP 中运行自己的学习算法？

Posted 2023-03-06

【中文标题】如何在 GCP 中运行自己的学习算法？

【英文标题】：How can I run my own learning algorithm in GCP?

【发布时间】：2018-03-15 09:14:15

【问题描述】：

我正在做一个项目，我基本上必须在 GCP 上实施推荐系统。我直接从网站上提取数据并将它们存储到 BigQuery 中。现在，预处理应该不是问题，因为我可以使用 Dataprep。我的问题与模型创建阶段有关。根据一些教程，在 TensorFlow 中使用 DNN 或 LinearRegressor 创建模型似乎并不太难。但是，我过去写过一些基于 Java 规则的学习算法，我想知道是否有一种方法可以在 GCP 中以类似于在 Tensorflow 中使用的方式使用它们。那么，假设我在 BigQuery 中存储和准备了我的数据，我是否能够使用我的一个 Java 程序来创建我的学习模型？

非常感谢任何帮助。

【问题讨论】：

你的问题太模糊太回答了！如果您提供更多详细信息，我将能够提供一个很好的答案

【参考方案1】：

请注意，深度学习可以应用于那些典型分类方法无法处理的复杂问题（例如您的旧 Java 代码）。因此，如果您的模型可以通过简单的基于规则的 Java 代码处理，我不建议您使用深度学习。 如果您的预测模型足够复杂，并且您希望在 GCP 上拥有一切，我建议您使用 Google 机器学习引擎。 您可以使用可用模型在 TensorFlow 中重写代码、训练模型并将其用于预测。 此外，Spark 和 DL4J 中提供了更多先进且易于使用的 ML 模型，它们的性能绝对优于您的 Java 代码，并且可以轻松地部署在您的 GCE 实例上。您也可以为他们使用 Google Dataflow。

【讨论】：

非常感谢您对 Shahin 的帮助。实际上，这就是我想要测试的，我的模型与其他模型的复杂性。我们都知道 NN 是黑匣子，因此基于规则的模型将提供可解释的模型，在某些情况下可能更有用。所以，我的问题更侧重于如何向 .jar 文件提供数据。我的意思是，一旦我在 BigQuery 上获得数据，我会将它们分成训练和测试，并且我想将它们传递给 .jar 文件（我的基于规则的学习算法）。除了用 Python 重写我的代码之外，还有其他方法吗？

您可以在 1 和 2 中找到 BigQuery JAVA 库以及一些示例。有一些很好的例子可以查询数据。在link 之后，您可以将导出的数据保存在 jar 文件中。

如果您需要更多详细信息，请告诉我

再次感谢沙欣。看起来这会很困难，但我一定会尝试使用示例中提到的一些想法。