不同端口上的 SparkThrift 服务器

Posted 2023-04-17

【中文标题】不同端口上的 SparkThrift 服务器

【英文标题】：SparkThrift server on Different port

【发布时间】：2015-04-16 19:48:48

【问题描述】：

我正在尝试在不同的端口上运行 Spark thrift 服务器，比如 12000。我参考了 Spark sql 文档和其他 url，但仍然无法在不同的端口上运行 Spark thrift 服务器。它不能在端口 10000 上运行被 Hive 使用。 我还提到了https://github.com/abhibasu/sparksql/wiki/SparkSQL-Configuration-in-CDH-5.3 并进行了更改。 尝试从 Spark_home/sbin> export HIVE_SERVER2_THRIFT_PORT=12000 启动 Spark thrift Spark_home/sbin> ./start-thriftserver.sh

日志文件显示以下错误。 错误 thrift.ThriftCLIService：错误： org.apache.thrift.transport.TTransportException：无法在地址 0.0.0.0/0.0.0.0:12000 上创建 ServerSocket。

环境：CDH5.3.3、SPark 1.2.0、Hive 0.13.1 谢谢， 阿比

【参考方案1】：

试试这个：

./start-thriftserver.sh --hiveconf hive.server2.thrift.port=9999

如果你在 Yarn 上运行：

./start-thriftserver.sh --master yarn --conf spark.ui.port=4049 --executor-memory 500M --num-executors 5 --driver-memory 1024M --hiveconf hive.server2.thrift.port=9999

您可以使用 --hiveconf 提供 hive conf 作为属性键值