spark操作操作Phoenix
Posted 扫地增
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark操作操作Phoenix相关的知识,希望对你有一定的参考价值。
phoenix
结合spark
配置
在Spark
运行环境中添加Phoenix
依赖,需要在spark-env.sh
添加如下代码:
#添加Phoenix依赖
for file in $(find /opt/hbase-1.2.4/lib |grep phoenix)
do
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$file"
done
export SPARK_DIST_CLASSPATH
这样每次启动spark
任务都会将phoenix
的jar
包添加到classpath
了
这里只说明配置,详细的API
操作见官网Apache Spark Plugin。
以上是关于spark操作操作Phoenix的主要内容,如果未能解决你的问题,请参考以下文章
Spark 实战系列Phoenix 整合 spark 进行查询分析