如何通过 Azure Hdinsight 在 Visual Studio 中使用 pig
Posted
技术标签:
【中文标题】如何通过 Azure Hdinsight 在 Visual Studio 中使用 pig【英文标题】:How to use pig in Visual Studio with Azure Hdinsight 【发布时间】:2017-08-14 20:09:14 【问题描述】:我在 Azure 上创建了我的 HDInsight,并在 VS2017 上连接了云资源管理器。
我想用 Hdinsight pig 做一个单词计数器。
我创建了我的猪项目,但是当我启动 script.pig
时出现错误:
Could not copy the file "obj\Debug\Pig" because it was not found.
【问题讨论】:
【参考方案1】:您可以使用 Data Lake Tools for Visual Studio 支持创建 Pig 脚本并将其提交到 HDInsight 群集。用户可以从模板创建 Pig 项目,然后将脚本提交到 HDInsight 集群。
创建脚本后,如果你点击开始按钮,你会得到这个错误信息:
无法复制文件“obj\Debug\Pig”,因为找不到。
您需要将 pig 脚本提交到您创建的 HDInsight 群集。
成功将 pig 脚本提交到 HDInsight 群集:
【讨论】:
以上是关于如何通过 Azure Hdinsight 在 Visual Studio 中使用 pig的主要内容,如果未能解决你的问题,请参考以下文章
如何有效地将大数据从数据中心移动到 Azure Blob 存储,以便以后通过 HDInsight 进行处理?
无法通过在 Azure HDInsight 中运行的 piggybank.jar 使用 PIG 读取 Avro 文件
China Azure 在HDinsight 中使用Spark 功能