我如何从 pyspark 访问 couchbase
Posted
技术标签:
【中文标题】我如何从 pyspark 访问 couchbase【英文标题】:How I can access to couchbase from pyspark 【发布时间】:2018-11-06 08:41:31 【问题描述】:我是使用 NoSQL 数据库的新手。我的集群上有 Spark 1.6.0,我需要从 Couchbase 存储桶中获取文档,对其进行一些操作并将其加载回来。 我知道 ip、port、bucket 的 name 和 bucket 的 password。不幸的是,我不知道如何使用 pyspark 访问这个数据库。但如果不可能,我如何使用 scala 来做到这一点? 此外,我需要用 HBase 执行类似的操作。 非常感谢您提供任何建议和有用的网址。 最好的问候, 弗拉基米尔。
【问题讨论】:
【参考方案1】:要从 Python 工具领域访问 Couchbase,您需要使用 Python SDK。
从这里开始:https://docs.couchbase.com/python-sdk/2.5/start-using-sdk.html
【讨论】:
以上是关于我如何从 pyspark 访问 couchbase的主要内容,如果未能解决你的问题,请参考以下文章
如何从 pyspark 访问 org.apache.hadoop.fs.FileUtil?