Linux系统下pid与pid文件及Hadoop更改pid文件存储位置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux系统下pid与pid文件及Hadoop更改pid文件存储位置相关的知识,希望对你有一定的参考价值。

1.认识pid:

PID全称是Process Identification。
PID是进程的代号,每个进程有唯一的PID编号。它是进程运行时系统随机分配的,并不代表专门的进程。在运行时PID是不会改变标识符的,但是你终止程序后再运行PID标识符就会被系统回收,就可能会被继续分配给新运行的程序。

2.pid文件

  • pid文件的内容
    用cat命令查看,可以看到内容只有一行,记录了该进程的ID
  • pid文件的作用
    防止启动多个进程副本
  • pid文件的原理
    进程运行后会给.pid文件加一个文件锁,只有获得该锁的进程才有写入权限(F_WRLCK),把自身的pid写入该文件中。
    其他试图获得该锁的进程会自动退出。

    3.Hadoop中pid文件存储

  • 简介:
    Hadoop启动后相关进程的PID文件默认配置是保存在 /tmp 目录下,使用stop-all.sh,stop-dfs.sh,stop-yarn.sh脚本来停止相关进程是通过对应的pid文件来停止的,而Linux下 /tmp 目录有定时清理的机制,所以为了防止停止进程时出现no namenode to stop等报错,我们应该更改进程pid文件存储的位置。
  • 更改方法:
    [[email protected] ~]$ mkdir -p /opt/software/hadoop-2.8.1/pids
    [[email protected] ~]$ jps
    10512 ResourceManager
    8018 Jps
    10004 SecondaryNameNode
    9655 NameNode
    9806 DataNode
    10623 NodeManager
    [[email protected] ~]$ cd /opt/software/hadoop-2.8.1/sbin/
    [[email protected] sbin]$ ./stop-dfs.sh
    [[email protected] sbin]$ ./stop-yarn.sh
    [[email protected] sbin]$ vi hadoop-daemon.sh
    HADOOP_PID_DIR=/opt/software/hadoop-2.8.1/pids
    [[email protected] sbin]$ vi yarn-daemon.sh
    YARN_PID_DIR=/opt/software/hadoop-2.8.1/pids
    [[email protected] sbin]$ ./start-dfs.sh
    [[email protected] sbin]$ ./start-yarn.sh
    [[email protected] sbin]$ jps
    9201 SecondaryNameNode
    9425 ResourceManager
    9540 NodeManager
    9828 Jps
    8852 NameNode
    8973 DataNode
    #发现pid存储在新的位置
    [[email protected] sbin]$ cd /opt/software/hadoop-2.8.1/pids/
    [[email protected] pids]$ ll
    total 20
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-datanode.pid
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-namenode.pid
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-secondarynamenode.pid
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:15 yarn-hadoop-nodemanager.pid
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:15 yarn-hadoop-resourcemanager.pid

以上是关于Linux系统下pid与pid文件及Hadoop更改pid文件存储位置的主要内容,如果未能解决你的问题,请参考以下文章

Linux系统调用:获取进程PID

简单了解linux系统下pid的取值范围

linux进程管理及计划任务

linux端口号与PID的互相查询

MySQL中的pid与socket是什么?

MySQL中的pid与socket是什么?