使用Cloudera Manager部署CDH群集时,可以使用Hue Web UI运行Hive和Impala查询。但Spark笔记本没有开箱即用。在CDH上安装和配置Spark笔记本并不像现有文档中描述的那样简单。在本博客中,我们将提供有关如何在CDH上使用Livy启用Hue Spark笔记本的分步说明。
[[email protected]01 bin]# cat livy.out
nohup: 忽略输入
18/08/1613:41:23 WARN LivySparkUtils$: Current Spark (2,2) is not verified in Livy, please use it carefully
18/08/1613:41:23 INFO StateStore$: Using BlackholeStateStore for recovery.
18/08/1613:41:23 INFO BatchSessionManager: Recovered 0 batch sessions. Next session id: 018/08/1613:41:23 INFO InteractiveSessionManager: Recovered 0 interactive sessions. Next session id: 018/08/1613:41:23 INFO InteractiveSessionManager: Heartbeat watchdog thread started.
18/08/1613:41:23 INFO WebServer: Starting server on http://fp-01:8998
5. 刷新Hue web UI界面
由于已经启动livy服务,spark警告已经消失
6. CDH集群添加hbase和impala组件
7. 再次刷新Hue web UI界面
此时所有警告已经消失
8. 点击页面顶部的Notebooks
8.1 发现页面报500错误
8.2 点击View logs,查看报错日志
有一行报错:NameError:global name ‘SHOW_NOTEBOOKS‘ is not defined
8.3 点击More info
查看最下面的文件views.py,第68行,问题代码if not SHOW_NOTEBOOKS.get(),但是前面并没有定义,所以报错。
[[email protected]01 ~]# cd /opt/cloudera/parcels/CDH-5.9.3-1.cdh5.9.3.p0.4/lib/hue/desktop/libs/notebook/src/notebook/
[[email protected]-01 notebook]# vi views.py