我如何从 pyspark 访问 couchbase

Posted

技术标签:

【中文标题】我如何从 pyspark 访问 couchbase【英文标题】:How I can access to couchbase from pyspark 【发布时间】:2018-11-06 08:41:31 【问题描述】:

我是使用 NoSQL 数据库的新手。我的集群上有 Spark 1.6.0,我需要从 Couchbase 存储桶中获取文档,对其进行一些操作并将其加载回来。 我知道 ipport、bucket 的 name 和 bucket 的 password。不幸的是,我不知道如何使用 pyspark 访问这个数据库。但如果不可能,我如何使用 scala 来做到这一点? 此外,我需要用 HBase 执行类似的操作。 非常感谢您提供任何建议和有用的网址。 最好的问候, 弗拉基米尔。

【问题讨论】:

【参考方案1】:

要从 Python 工具领域访问 Couchbase,您需要使用 Python SDK。

从这里开始:https://docs.couchbase.com/python-sdk/2.5/start-using-sdk.html

【讨论】:

以上是关于我如何从 pyspark 访问 couchbase的主要内容,如果未能解决你的问题,请参考以下文章

如何从 pyspark 访问 org.apache.hadoop.fs.FileUtil?

如何从命令行访问 Apache PySpark?

Spring & Couchbase - 如何通过代码创建索引

Couchbase 服务器的访问安全

如何访问安装在 hdfs 头节点集群内的 pyspark

从另一个页面添加数据库(couchbase)中的项目后,如何从 angular.js 中的页面更新列表?