如何从 NodeJS 和 Lambda 在 EMR Hive 上运行查询
Posted
技术标签:
【中文标题】如何从 NodeJS 和 Lambda 在 EMR Hive 上运行查询【英文标题】:How to run queries on EMR Hive from NodeJS and Lambda 【发布时间】:2017-05-15 09:17:21 【问题描述】:我在EMR
中创建了2 个EXTERNAL TABLE
,并映射到DynamoDB
。表名是 Attributes 和 AttributeTypes。
在 Attribute 中,我将 AttributeType 的 id
存储为 attributeTypeId
。
我想如何从我的 NodeJS 应用程序对 EMR 配置单元运行查询,包括 JOIN、WHERE、ORDER 和 LIMIT。我怎样才能从 NodeJS 应用程序中做到这一点。到目前为止,我只成功地从 AWS CLI 运行查询,并且在 AWS SDK 中找不到任何东西。
【问题讨论】:
【参考方案1】:我从未使用 EMR 连接对此进行过测试。但是您可以尝试查找连接。
PrestoDb documentation 有几个选项可以使用大量语言连接到 Hive 和 PrestoDb。我建议您查看 shib 这将连接到 Hive 进行查询。
我希望这能给你一个方向。
【讨论】:
以上是关于如何从 NodeJS 和 Lambda 在 EMR Hive 上运行查询的主要内容,如果未能解决你的问题,请参考以下文章
如何使用 AWS Lambda 在 AWS EMR 上运行 PySpark
如何从 nodejs 中的另一个 lambda 调用 graphql lambda?
如何使用 NodeJS 在 AWS Lambda 上运行 PhantomJS
在 AWS 上设置数据管道的最佳实践? (Lambda/EMR/Redshift/雅典娜)
如何使用从 Alexa Smart Home Skill Directive 收到的 BearerToken 来识别使用 AWS Lambda 和 NodeJS 的用户电子邮件和个人资料?