如何通过 Azure Hdinsight 在 Visual Studio 中使用 pig

Posted

技术标签:

【中文标题】如何通过 Azure Hdinsight 在 Visual Studio 中使用 pig【英文标题】:How to use pig in Visual Studio with Azure Hdinsight 【发布时间】:2017-08-14 20:09:14 【问题描述】:

我在 Azure 上创建了我的 HDInsight,并在 VS2017 上连接了云资源管理器。

我想用 Hdinsight pig 做一个单词计数器。

我创建了我的猪项目,但是当我启动 script.pig 时出现错误:

Could not copy the file "obj\Debug\Pig" because it was not found.

【问题讨论】:

【参考方案1】:

您可以使用 Data Lake Tools for Visual Studio 支持创建 Pig 脚本并将其提交到 HDInsight 群集。用户可以从模板创建 Pig 项目,然后将脚本提交到 HDInsight 集群。

创建脚本后,如果你点击开始按钮,你会得到这个错误信息:

无法复制文件“obj\Debug\Pig”,因为找不到。

您需要将 pig 脚本提交到您创建的 HDInsight 群集。

成功将 pig 脚本提交到 HDInsight 群集:

【讨论】:

以上是关于如何通过 Azure Hdinsight 在 Visual Studio 中使用 pig的主要内容,如果未能解决你的问题,请参考以下文章

如何有效地将大数据从数据中心移动到 Azure Blob 存储,以便以后通过 HDInsight 进行处理?

无法通过在 Azure HDInsight 中运行的 piggybank.jar 使用 PIG 读取 Avro 文件

HDInsight:HBase 还是 Azure 表存储?

China Azure 在HDinsight 中使用Spark 功能

Microsoft.Azure.Management.HDInsight.Job 的 .Netcore 替代品?

Azure HDInsight Jupyter笔记本无法正常工作