Spark日志研究
Posted 拱头
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark日志研究相关的知识，希望对你有一定的参考价值。
Spark日志分三部分:
1.Client日志:就是我们spark-submit一个Application的时候在屏幕上可以看到的日志,Spark的一行日志能够看出是哪个类输出的日志,这有助于理解每个类在哪个机器上执行.Client日志最重要的还是记录了SparkContext启动过程的初始化过程. 如下图,前面红框表示类.
2.Master日志,Master日志主要记录了App的注册和Master启动Executor的过程,从日志中可以看出,app在注册的时候,Master会给App分配一个appid,这个id是唯一的,能够在不同机器上面对同一个appid进行追终.Master日志在启动Master的机器的$SPARK_HOME/logs下.
3.Worker日志 : 记录了ExecutorBackend的启动方式,这个启动就可以注册Executor了,并且记录了每个ExecutorRunner启动和关闭Tasker的过程,从日志启动ExecutorBackend的指令可以看出,一个Executor是可以有多个cores的.
以上是关于Spark日志研究的主要内容，如果未能解决你的问题，请参考以下文章