spark操作操作Phoenix

Posted 扫地增

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark操作操作Phoenix相关的知识,希望对你有一定的参考价值。

phoenix结合spark配置

Spark运行环境中添加Phoenix依赖,需要在spark-env.sh添加如下代码:

#添加Phoenix依赖
for file in $(find /opt/hbase-1.2.4/lib |grep  phoenix)
do
    SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$file"
done
export SPARK_DIST_CLASSPATH

这样每次启动spark任务都会将phoenixjar包添加到classpath

这里只说明配置,详细的API操作见官网Apache Spark Plugin

以上是关于spark操作操作Phoenix的主要内容,如果未能解决你的问题,请参考以下文章

Spark 实战系列Phoenix 整合 spark 进行查询分析

Spark 实战系列Phoenix 整合 spark 进行查询分析

HBase连接的几种方式

Phoenix和SQuirrel安装详解

Phoenix

Phoenix实战