hive on spark Timed out waiting for client connection. (state=08S01,code=1)

Posted 2023-05-05

参考技术A 在beeline中使用hive on spark ，报错

由于hive程序的是通过yarn 去跑spark的，到Hadoop目录下查看resourcemanager日志

问题分析：spark on hive本质是spark-shell.sh，spark-shell.sh会一直占用进程，这样后面提交的hive on spark任务就不需要重复上传spark依赖，加速任务执行速度

什么是Hive on Spark

参考技术A Shark和sparkSQL 但是，随着Spark的发展，其中sparkSQL作为Spark生态的一员继续发展，而不再受限于hive，只是兼容hive；而hive on spark是一个hive的发展计划，该计划将spark作为hive的底层引擎之一，也就是说，hive将不再受限于一个引擎，可以采用map- reduce、Tez、spark等引擎。