大数据 Linux磁盘管理
Posted zxy151
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据 Linux磁盘管理相关的知识,希望对你有一定的参考价值。
课时36 磁盘分区介绍
1.分区基础知识
分区方式
(1)mbr分区
最多只能支持四个分区
系统只能安装在主分区
扩展分区要占一个主分区
MBR最大只支持2TB,但拥有最好的兼容性
(2)gtp分区
支持无限多个分区(但操作系统可能限制,比如windows下最多128个分区)
最大支持18ET的大容量(EB=1024PB,PB=1024TB)
windows7 64位以后支持gtp
1.分区基础知识
分区方式
(1)mbr分区
最多只能支持四个分区
系统只能安装在主分区
扩展分区要占一个主分区
MBR最大只支持2TB,但拥有最好的兼容性
(2)gtp分区
支持无限多个分区(但操作系统可能限制,比如windows下最多128个分区)
最大支持18ET的大容量(EB=1024PB,PB=1024TB)
windows7 64位以后支持gtp
课时37 分区
1.原理介绍
(1)Linux无论有几个分区,分给哪一目录使用,它归根结底就只有一个根目录,一个独立且唯一的文件结构,
Linux中每个分区都是用来组成整个文件系统的一部分。
(2)Linux采用了一种叫“载入”的处理方法,它的整个文件系统中包含了一整套的文件和目录,且将一个分
区和一个目录联系起来。这时要载入的一个分区将使他的存储空间在一个目录下获得。
2.硬盘说明
(1)Linux硬盘分IDE硬盘和SCSI硬盘,目前基本是SCSI硬盘
(2)对于IDE硬盘,驱动器标识符为“hdx”,其中“hd”表明分区所在设备的类型,这里是指IDE硬盘了。
“x”为盘号(a为基本盘,b为从属盘,c为辅助主盘,d为辅助从属盘),“~”代表分区,前四个分区用数
字1到4表示,它们是主分区或扩展分区,从5开始就是逻辑分区。例,hda3表示为第一个IDE硬盘上的第三个
主分区或扩展分区,hdb2表示为第二个IDE硬盘上的第二个主分区或扩展分区。
(3)对于SCSI硬盘则标识为“sdx”,SCSI硬盘是用“sd”来表示分区所在设备类型,其余和IDE硬盘的表示
方法一样。
3.
lsblk -f 查看分区情况或lsblk
(老师不离开)
[root@hadoop01 ~]# lsblk -f
NAME FSTYPE LABEL UUID MOUNTPOINT
sr0 iso9660 CentOS_6.8_Final
/media/Cen
sda
├─sda1 ext4 c39216c8-6e29-4dc0-a4a5-f65b5ef1510f /boot
├─sda2 swap 1f133837-449c-4950-901f-670aec7bbd34 [SWAP]
└─sda3 ext4 9574e41d-5e5f-40fe-8ad5-1f173d9e485f /
分区情况 分区类型 唯一标识分区的40位不重复的字符串 挂载点
1.原理介绍
(1)Linux无论有几个分区,分给哪一目录使用,它归根结底就只有一个根目录,一个独立且唯一的文件结构,
Linux中每个分区都是用来组成整个文件系统的一部分。
(2)Linux采用了一种叫“载入”的处理方法,它的整个文件系统中包含了一整套的文件和目录,且将一个分
区和一个目录联系起来。这时要载入的一个分区将使他的存储空间在一个目录下获得。
2.硬盘说明
(1)Linux硬盘分IDE硬盘和SCSI硬盘,目前基本是SCSI硬盘
(2)对于IDE硬盘,驱动器标识符为“hdx”,其中“hd”表明分区所在设备的类型,这里是指IDE硬盘了。
“x”为盘号(a为基本盘,b为从属盘,c为辅助主盘,d为辅助从属盘),“~”代表分区,前四个分区用数
字1到4表示,它们是主分区或扩展分区,从5开始就是逻辑分区。例,hda3表示为第一个IDE硬盘上的第三个
主分区或扩展分区,hdb2表示为第二个IDE硬盘上的第二个主分区或扩展分区。
(3)对于SCSI硬盘则标识为“sdx”,SCSI硬盘是用“sd”来表示分区所在设备类型,其余和IDE硬盘的表示
方法一样。
3.
lsblk -f 查看分区情况或lsblk
(老师不离开)
[root@hadoop01 ~]# lsblk -f
NAME FSTYPE LABEL UUID MOUNTPOINT
sr0 iso9660 CentOS_6.8_Final
/media/Cen
sda
├─sda1 ext4 c39216c8-6e29-4dc0-a4a5-f65b5ef1510f /boot
├─sda2 swap 1f133837-449c-4950-901f-670aec7bbd34 [SWAP]
└─sda3 ext4 9574e41d-5e5f-40fe-8ad5-1f173d9e485f /
分区情况 分区类型 唯一标识分区的40位不重复的字符串 挂载点
课时38 添加一块新硬盘
1.挂载的经典案例
给Linux系统增加一个新的硬盘,并且挂载到/home/newdisk
步骤:
(1)虚拟机添加硬盘
设置 硬盘 添加 硬盘 SCSI 创建新的 2g 将虚拟磁盘拆分成多个文件
(2)分区
[root@hadoop01 ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0xeb040133.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won‘t be recoverable.
1.挂载的经典案例
给Linux系统增加一个新的硬盘,并且挂载到/home/newdisk
步骤:
(1)虚拟机添加硬盘
设置 硬盘 添加 硬盘 SCSI 创建新的 2g 将虚拟磁盘拆分成多个文件
(2)分区
[root@hadoop01 ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0xeb040133.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won‘t be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
WARNING: DOS-compatible mode is deprecated. It‘s strongly recommended to
switch off the mode (command ‘c‘) and change display units to
sectors (command ‘u‘).
switch off the mode (command ‘c‘) and change display units to
sectors (command ‘u‘).
Command (m for help): m
Command action
a toggle a bootable flag
b edit bsd disklabel
c toggle the dos compatibility flag
d delete a partition
l list known partition types
m print this menu
n add a new partition
o create a new empty DOS partition table
p print the partition table
q quit without saving changes
s create a new empty Sun disklabel
t change a partition‘s system id
u change display/entry units
v verify the partition table
w write table to disk and exit
x extra functionality (experts only)
Command action
a toggle a bootable flag
b edit bsd disklabel
c toggle the dos compatibility flag
d delete a partition
l list known partition types
m print this menu
n add a new partition
o create a new empty DOS partition table
p print the partition table
q quit without saving changes
s create a new empty Sun disklabel
t change a partition‘s system id
u change display/entry units
v verify the partition table
w write table to disk and exit
x extra functionality (experts only)
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-261, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-261, default 261):
Using default value 261
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-261, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-261, default 261):
Using default value 261
Command (m for help): w
The partition table has been altered!
The partition table has been altered!
Calling ioctl() to re-read partition table.
Syncing disks.
Syncing disks.
[root@hadoop01 ~]# lsblk -f
NAME FSTYPE LABEL UUID MOUNTPOINT
sr0 iso9660 CentOS_6.8_Final
/media/Cen
sdb
└─sdb1
sda
├─sda1 ext4 c39216c8-6e29-4dc0-a4a5-f65b5ef1510f /boot
├─sda2 swap 1f133837-449c-4950-901f-670aec7bbd34 [SWAP]
└─sda3 ext4 9574e41d-5e5f-40fe-8ad5-1f173d9e485f /
NAME FSTYPE LABEL UUID MOUNTPOINT
sr0 iso9660 CentOS_6.8_Final
/media/Cen
sdb
└─sdb1
sda
├─sda1 ext4 c39216c8-6e29-4dc0-a4a5-f65b5ef1510f /boot
├─sda2 swap 1f133837-449c-4950-901f-670aec7bbd34 [SWAP]
└─sda3 ext4 9574e41d-5e5f-40fe-8ad5-1f173d9e485f /
(3)格式化
[root@hadoop01 ~]# mkfs -t ext4 /dev/sdb1
(4)挂载
[root@hadoop01 ~]# mkdir /home/newdisk
[root@hadoop01 home]# mount /dev/sdb1 /home/newdisk
[root@hadoop01 home]# lsblk -f
sdb
└─sdb1 ext4 074f9d6f-cee4-4a19-ba0b-21f841c9cace /home/newd
(5)设置可以自动挂载
[root@hadoop01 home]# vim /etc/fstab
/dev/sdb1 /home/newdisk ext4 defaults 0 0
[root@hadoop01 home]# mount -a
重启
[root@hadoop01 ~]# cd /home/newdisk
[root@hadoop01 newdisk]# ls
lost+found
sdb
└─sdb1 ext4 074f9d6f-cee4-4a19-ba0b-21f841c9cace /home/newdisk
卸载
[root@hadoop01 newdisk]# cd /home
[root@hadoop01 home]# umount /dev/sdb1
[root@hadoop01 home]# lsblk -f
sdb
└─sdb1 ext4 074f9d6f-cee4-4a19-ba0b-21f841c9cace
[root@hadoop01 ~]# mkfs -t ext4 /dev/sdb1
(4)挂载
[root@hadoop01 ~]# mkdir /home/newdisk
[root@hadoop01 home]# mount /dev/sdb1 /home/newdisk
[root@hadoop01 home]# lsblk -f
sdb
└─sdb1 ext4 074f9d6f-cee4-4a19-ba0b-21f841c9cace /home/newd
(5)设置可以自动挂载
[root@hadoop01 home]# vim /etc/fstab
/dev/sdb1 /home/newdisk ext4 defaults 0 0
[root@hadoop01 home]# mount -a
重启
[root@hadoop01 ~]# cd /home/newdisk
[root@hadoop01 newdisk]# ls
lost+found
sdb
└─sdb1 ext4 074f9d6f-cee4-4a19-ba0b-21f841c9cace /home/newdisk
卸载
[root@hadoop01 newdisk]# cd /home
[root@hadoop01 home]# umount /dev/sdb1
[root@hadoop01 home]# lsblk -f
sdb
└─sdb1 ext4 074f9d6f-cee4-4a19-ba0b-21f841c9cace
课时39 磁盘查询实用指令
1.磁盘情况查询
查询系统整体磁盘使用情况
df -h
[root@hadoop01 home]# df -lh
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 18G 2.8G 14G 17% /
tmpfs 491M 76K 491M 1% /dev/shm
/dev/sda1 190M 34M 147M 19% /boot
/dev/sr0 3.7G 3.7G 0 100% /media/CentOS_6.8_Final
2.查询指定目录的磁盘占用情况
du -h /目录
-s 指定目录占用大小汇总
-h 带计量单位
-a 含文件
--max-depth=1 子目录深度
-c 列出明细的同时,增加汇总值
实例
查询/opt目录的磁盘
[root@hadoop01 home]# du -ach --max-depth=1 /opt
148K /opt/home
4.0K /opt/rh
140K /opt/tmp
296K /opt
296K 总用量
3.磁盘情况-工作实用指令
(1)统计/home文件夹下文件的个数
[root@hadoop01 home]# ls -l /home | grep "^-" | wc -l
12
(2)统计/home文件夹下目录的个数
[root@hadoop01 home]# ls -l /home | grep "^d" | wc -l
13
(3)统计/home文件夹下文件的个数包括子文件夹里的
[root@hadoop01 home]# ls -lR /home | grep "^-" | wc -l
18
(4)统计文件夹下目录的个数,包括子文件夹里的
[root@hadoop01 home]# ls -lR /home | grep "^d" | wc -l
13
(5)以树状显示目录结构
[root@hadoop01 home]# yum install tree
[root@hadoop01 home]# tree
1.磁盘情况查询
查询系统整体磁盘使用情况
df -h
[root@hadoop01 home]# df -lh
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 18G 2.8G 14G 17% /
tmpfs 491M 76K 491M 1% /dev/shm
/dev/sda1 190M 34M 147M 19% /boot
/dev/sr0 3.7G 3.7G 0 100% /media/CentOS_6.8_Final
2.查询指定目录的磁盘占用情况
du -h /目录
-s 指定目录占用大小汇总
-h 带计量单位
-a 含文件
--max-depth=1 子目录深度
-c 列出明细的同时,增加汇总值
实例
查询/opt目录的磁盘
[root@hadoop01 home]# du -ach --max-depth=1 /opt
148K /opt/home
4.0K /opt/rh
140K /opt/tmp
296K /opt
296K 总用量
3.磁盘情况-工作实用指令
(1)统计/home文件夹下文件的个数
[root@hadoop01 home]# ls -l /home | grep "^-" | wc -l
12
(2)统计/home文件夹下目录的个数
[root@hadoop01 home]# ls -l /home | grep "^d" | wc -l
13
(3)统计/home文件夹下文件的个数包括子文件夹里的
[root@hadoop01 home]# ls -lR /home | grep "^-" | wc -l
18
(4)统计文件夹下目录的个数,包括子文件夹里的
[root@hadoop01 home]# ls -lR /home | grep "^d" | wc -l
13
(5)以树状显示目录结构
[root@hadoop01 home]# yum install tree
[root@hadoop01 home]# tree
以上是关于大数据 Linux磁盘管理的主要内容,如果未能解决你的问题,请参考以下文章
大数据学习之_01_Linux学习_02_组管理和权限管理+定时任务调度+linux磁盘分区挂载+linux的网络配置+进程管理(重点)+软件包管理+大厂面试题+感悟分享+资料附录