hadoop相关重要源码学习

Posted 2022-08-04 hiihygge

RPC通信原理解析

• 通过源码深入理解以下hadoop的组件及重要流程，巩固学习；

• hdfs、yarn、mr

• datanode和namenode如何通信？RM和NM如何通信？

  • 都是通过RPC通信协议 （远程过程调用(Remote Procedure Call)）
  • 分为三个部分：服务端、客户端、通信协议
  • 服务端实现RPC接口协议，创建RPC服务（服务器地址、端口号、通信协议），接口协议包括（版本id，创建文件夹），客户端获取服务器代理（服务器地址，端口号，通信协议），服务端代理调用。

• 

NameNode的启动源码

• 画图网站：https://www.processon.com/
• 

DataNode的启动源码

• 

HDFS写文件的流程与源码阅读

• 

Yarn的工作机制

• 

部分资料来自五分钟学大数据、尚硅谷