在CDH中安装Spark2

Posted dubbo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在CDH中安装Spark2相关的知识,希望对你有一定的参考价值。

第一步,需要在CDH上安装Spark 2,由于我的CDH是5.15.x,只能通过CDS的方式安装。官方指导在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html

总结下,需要手动下载cds文件上传到CM服务器并修改owner,然后重启系统的cmservice,之后可能还需要登录到CM管理端,从页面重启CM服务,这两者的关系我还不是很清楚囧

其次,配置下remote parcel repo,加上spark2的地址,然后如果页面显示需要重启就重启,重启之后到cluster->parcels页面check for new parcels应该就能看到spark2的选项,download之。

如果CM无法访问外网,方法1,配置CM的proxy,使用http代理;方法2,下载spark2的parcel文件和sha文件,以及!manifest.json,然后上传到CM的local parcel repo目录,重新check for new parcels,应该就OK了。

如果要使用structured streaming,spark2当然是选择最新版,因为foreach这个功能的python版只有2.4才支持。我选择的是最新的2.4.0.cloudera2-1.cdh5.13.3.p0.1041012。

第二步,CM中Add service,添加spark2,添加一个spark history节点,gateway节点自行选择,把所有spark可能运行的节点都选上好了。如果要让spark默认就能访问hive表,需要把hive和spark的gateway角色赋予同一台机器。
第三步,验证,找一台gateway,运行pyspark2(scala或java自行选择),如果出现spark 2.4,0的字样,则安装成功。

问题记录:

1,虽然我在提交spark作业时制定了spark-kafka的版本,

--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.0

还是会报错(类似):

java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V
at org.apache.spark.sql.kafka010.SubscribeStrategy.createConsumer(ConsumerStrategy.scala:63)

解决方案(原因未深究,我怀疑是CDH原来装了Spark 1,而这次我并没有卸载的缘故,CDH允许两个版本并存):

export SPARK_KAFKA_VERSION=0.10

2,中文处理的问题,虽然在python中是古老的问题了,spark中一样会遇到,大概长下面这样:

UnicodeEncodeError: ascii codec cant encode character u2013 in position 9741: ordinal not in range(128)

解决方案:

设置python文件编码,针对python 2.x,如下。

# -*- coding: utf-8 -*-
from __future__ import print_function

import sys
reload(sys)
sys.setdefaultencoding(utf8)

3,运行spark的节点很可能不能连接外网,需要proxy,然后会发现各种http_proxy环境变量都没有用,ANT_OPTS也没有用,生效的是spark.driver.extraJavaOptions,如下:

spark2-submit --conf "spark.driver.extraJavaOptions=-Dhttp.proxyHost=xxx -Dhttp.proxyPort=xxx -Dhttps.proxyHost=xxx -Dhttps.proxyPort=xxx"

 

以上是关于在CDH中安装Spark2的主要内容,如果未能解决你的问题,请参考以下文章

0030-如何在CDH中安装Kudu&Spark2&Kafka

Cloudera Spark2 安装

在CDH5.14.4 中安装StreamSets与案例运行

在CDH5.14.2中安装Phoenix与使用

CentOS7安装CDH 第九章:CDH中安装Kafka

centos7中安装cdh5.15