如何通过 unix utils 或 nmon 使用 hadoop fs 获取磁盘信息?
Posted
技术标签:
【中文标题】如何通过 unix utils 或 nmon 使用 hadoop fs 获取磁盘信息?【英文标题】:How to get disk info with hadoop fs by unix utils or nmon? 【发布时间】:2015-05-18 10:53:18 【问题描述】:我已经安装了带有 mfs 的 mapr(基于 hadoop fs)和一些使用 df、dfisk 和 nmon log 从文件系统获取信息的脚本文件。
root@spbswgvml10:/opt/nmon# df -h 已使用的文件系统大小可用使用百分比已安装在 /dev/sda1 8.8G 4.4G 4.0G 53% / 无 4.0K 0 4.0K 0% /sys/fs/cgroup udev 2.0G 4.0K 2.0G 1% /dev tmpfs 396M 464K 395M 1%/运行 无 5.0M 0 5.0M 0% /运行/锁定 无 2.0G 0 2.0G 0% /run/shm 无 100M 0 100M 0% /运行/用户 root@spbswgvml10:/opt/nmon# fdisk -l 磁盘 /dev/sda:10.7 GB,10737418240 字节 255个磁头,63个扇区/磁道,1305个柱面,总共20971520个扇区 单位 = 1 * 512 = 512 字节的扇区 扇区大小(逻辑/物理):512 字节/512 字节 I/O 大小(最小/最佳):512 字节/512 字节 磁盘标识符:0x00038d7f 设备引导开始结束块 ID 系统 /dev/sda1 * 2048 18874367 9436160 83 Linux /dev/sda2 18876414 20969471 1046529 5 扩展 /dev/sda5 18876416 20969471 1046528 82 Linux 交换/Solaris 磁盘 /dev/sdb:32.2 GB,32212254720 字节 64个磁头,51个扇区/磁道,19275个柱面,总共62914560个扇区 单位 = 1 * 512 = 512 字节的扇区 扇区大小(逻辑/物理):512 字节/512 字节 I/O 大小(最小/最佳):512 字节/512 字节 磁盘标识符:0x434da72d 设备引导开始结束块 ID 系统 /dev/sdb1 2048 62914559 31456256 83 Linux root@spbswgvml10:/opt/nmon# mount /dev/sda1 on / type ext4 (rw,errors=remount-ro) proc on /proc type proc (rw,noexec,nosuid,nodev) /sys 上的 sysfs 类型 sysfs (rw,noexec,nosuid,nodev) /sys/fs/cgroup 上没有类型 tmpfs (rw) /sys/fs/fuse/connections 类型 fusectl (rw) 上没有 /sys/kernel/debug 类型 debugfs (rw) 上没有 /sys/kernel/security 类型 securityfs (rw) 上没有 udev on /dev type devtmpfs (rw,mode=0755) /dev/pts 上的 devpts 类型 devpts (rw,noexec,nosuid,gid=5,mode=0620) tmpfs on /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755) 在 /run/lock 类型 tmpfs 上没有 (rw,noexec,nosuid,nodev,size=5242880) /run/shm 类型 tmpfs (rw,nosuid,nodev) 上没有 在/运行/用户类型 tmpfs 上没有(rw,noexec,nosuid,nodev,size=104857600,mode=0755) 无 /sys/fs/pstore 类型 pstore (rw) cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,relatime,cpuset) cgroup on /sys/fs/cgroup/cpu type cgroup (rw,relatime,cpu) cgroup on /sys/fs/cgroup/cpuacct 类型 cgroup (rw,relatime,cpuacct) cgroup on /sys/fs/cgroup/memory type cgroup (rw,relatime,memory) systemd on /sys/fs/cgroup/systemd type cgroup (rw,noexec,nosuid,nodev,none,name=systemd) /run/rpc_pipefs 上的 rpc_pipefs 类型 rpc_pipefs (rw)现在我想从设备 /dev/sdb1 获取信息,mapr 将其用作 hadoop fs。 我知道我可以使用类似的东西
hadoop fs df
但我希望有另一种使用方式,总大小等。
我无法挂载 /dev/sdb1,因为它正在被某个进程使用。并且找不到分区可能已经挂载的路径。
【问题讨论】:
【参考方案1】:使用下面的命令:
maprcli disk list -host `hostname`
mfs 使用的磁盘不会显示在常规挂载输出上。
【讨论】:
以上是关于如何通过 unix utils 或 nmon 使用 hadoop fs 获取磁盘信息?的主要内容,如果未能解决你的问题,请参考以下文章