hadoop集群中的几个重要概念

Posted 2023-04-11

参考技术A （1）journalnode：使两个namenode之间的数据实现共享（hadoop层面的）。系统层面的是NFS。

（2）zookeeper：实现namenode的切换，确保集群只有一个active

（3)格式化zkfc,让在zookeeper中生成ha节点

 (4)格式化nn:就是格式化hdfs.

与普通文件系统一样，HDFS文件系统必须要先格式化，创建元数据数据结构以后才能使用。

(5)conf下的一些配置文件的作用

hadoop-env.sh:用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；

core-site.xml: 用于定义系统级别的参数，它作用于全部进程及客户端，如HDFS URL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义会覆盖core-default.xml文件中的默认配置；

hdfs-site.xml: HDFS的相关设定，如文件副本的个数、块大小及是否使用强制权限等，此中的参数定义会覆盖hdfs-default.xml文件中的默认配置；

mapred-site.xml：mapreduce的相关设定，如reduce任务的默认个数、任务所能够使用内存的默认上下限等，此中的参数定义会覆盖mapred-default.xml文件中的默认配置；

masters: hadoop的secondary-masters主机列表，当启动Hadoop时，其会在当前主机上启动NameNode和JobTracker，然后通过SSH连接此文件中的主机以作为备用NameNode;

slaves：Hadoop集群的slave(datanode)和tasktracker的主机列表，master启动时会通过SSH连接至此列表中的所有主机并为其启动DataNode和taskTracker进程；

Hadoop-metrics2.properties:控制metrics在hadoop上如何发布属性

Log4j.properties：系统日志文件、namenode审计日志、tarsktracker子进程的任务日志属性

（6）hadoop.tmp.dir属性用于定义Hadoop的临时目录，其默认为/tmp/hadoop-$username。HDFS进程的许多目录默认都在此目录中，/hadoop/tmp目录，需要注意的是，要保证运行Hadoop进程的用户对其具有全部访问权限。

fs.default.name属性用于定义HDFS的名称节点和其默认的文件系统，其值是一个URI，即NameNode的RPC服务器监听的地址(可以是主机名)和端口(默认为8020)。其默认值为file:///，即本地文件系统。

dfs.name.dir属性定义的HDFS元数据持久存储路径,默认为$hadoop.tmp.dir/dfs/name

dfs.replication属性定义保存副本的数量，默认是保存3份,由于这里只有两台slave。所以设置2。

（7）可以通过修改下面几个参数对集群读写性能进行优化

dfs.datanode.handler.count（加大）DN的服务线程数。这些线程仅用于接收请求，处理业务命令

dfs.namenode.handler.count（加大）  NN的服务线程数。用于处理RPC请求

dfs.namenode.avoid.read.stale.datanode（true）决定是否避开从脏DN上读数据。脏DN指在一个指定的时间间隔内没有收到心跳信息。脏DN将被移到可以读取(写入)节点列表的尾端。尝试开启

dfs.namenode.avoid.write.stale.datanode（true）  和上面相似，是为了避免向脏DN写数据

以太坊合并开始，了解 PoS 中的几个重要概念

以太坊已经开启了合并，这一次升级最核心的一点就是从原有的 PoW（工作量证明）转变为 PoS（权益证明）。这次合并后，以太坊也引入了许多新的概念和术语， 在这其中，我们也需要进一步了解 PoS 的几个重要概念，以便于更能适应以太坊合并后的新生态环境。

惩奖机制

惩奖机制是 PoS 中一个十分关键的内容，它通过对为恶者进行处罚，对做出贡献者进行奖励，精准地平衡了进行共识的验证者的利益，从而构建出一个公平、信任、抗审查的去中心化系统。

具体来说，就是验证者需要及时且不作恶地完成由系统委托的相关职责，比如为信标链提议一个区块，或是证明区块等。当验证者顺利完成这些职责后，就会获得相应的奖励。

相反，PoS 中也存在处罚机制，主要分为惩罚和罚没两种。其中，惩罚机制是针对未能及时履行相关职责的验证者而设立的，处罚的目标也主要是长期不活跃的验证者。当然，针对一些由于网络问题、客户端故障等情况而导致未能及时履行责任，在这一机制中并不会受到处罚，不过验证者也可能会失去提议带来的机会成本，降低了收益。

而罚没则相对比较严重，这主要是针对威胁到以太坊功能和完整性的作恶行为，当发生此类情况时，验证者质押在以太坊的资金将可能会被没收。

最终确定性

最终确定性是指交易成功被包含在区块当中，这能够让用户确定并认可交易的经济确定性。

利用 PoS 而建立的最终确定性是有着强大的保证的，当整个以太坊链中超过三分之二的活跃验证者确认2个不同的 epoch 时，就会在以太坊的共识层中形成最终确定性，确保一个区块是最终的。

之所以说这最终确定性有着强大的保证，是因为想要还原一个最终确认的区块，整个链中将会有三分之一的验证者会受到罚没处罚，从而失去他们的资金，这很显然是这些验证者不愿意看见的，因此这些验证者也会尽可能地保证确定性的存在。

当然，PoS 的最终确定性的强大保证也并非没有代价，那就是更长的时间消耗，每个 epoch 在以太坊的时长都为 6.4分钟，因此，整个最终确定性的形成需要12.8分钟，这相比一些常规的交易所中平均5分钟的时长多了两倍多。以太坊在未来的发展中也在探索者如何减少这个过程所需要花费的时间。