大数据 Linux磁盘管理

Posted zxy151

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据 Linux磁盘管理相关的知识,希望对你有一定的参考价值。

课时36  磁盘分区介绍
1.分区基础知识
分区方式
(1)mbr分区
最多只能支持四个分区
系统只能安装在主分区
扩展分区要占一个主分区
MBR最大只支持2TB,但拥有最好的兼容性
(2)gtp分区
支持无限多个分区(但操作系统可能限制,比如windows下最多128个分区)
最大支持18ET的大容量(EB=1024PB,PB=1024TB)
windows7 64位以后支持gtp
课时37 分区
1.原理介绍
(1)Linux无论有几个分区,分给哪一目录使用,它归根结底就只有一个根目录,一个独立且唯一的文件结构,
Linux中每个分区都是用来组成整个文件系统的一部分。
(2)Linux采用了一种叫“载入”的处理方法,它的整个文件系统中包含了一整套的文件和目录,且将一个分
区和一个目录联系起来。这时要载入的一个分区将使他的存储空间在一个目录下获得。
2.硬盘说明
(1)Linux硬盘分IDE硬盘和SCSI硬盘,目前基本是SCSI硬盘
(2)对于IDE硬盘,驱动器标识符为“hdx”,其中“hd”表明分区所在设备的类型,这里是指IDE硬盘了。
“x”为盘号(a为基本盘,b为从属盘,c为辅助主盘,d为辅助从属盘),“~”代表分区,前四个分区用数
字1到4表示,它们是主分区或扩展分区,从5开始就是逻辑分区。例,hda3表示为第一个IDE硬盘上的第三个
主分区或扩展分区,hdb2表示为第二个IDE硬盘上的第二个主分区或扩展分区。
(3)对于SCSI硬盘则标识为“sdx”,SCSI硬盘是用“sd”来表示分区所在设备类型,其余和IDE硬盘的表示
方法一样。
3.
lsblk -f 查看分区情况或lsblk
(老师不离开)
[root@hadoop01 ~]# lsblk -f
NAME   FSTYPE  LABEL   UUID                                 MOUNTPOINT
sr0    iso9660 CentOS_6.8_Final
                                                            /media/Cen
sda                                                        
├─sda1 ext4            c39216c8-6e29-4dc0-a4a5-f65b5ef1510f /boot
├─sda2 swap            1f133837-449c-4950-901f-670aec7bbd34 [SWAP]
└─sda3 ext4            9574e41d-5e5f-40fe-8ad5-1f173d9e485f /
分区情况 分区类型     唯一标识分区的40位不重复的字符串             挂载点
课时38 添加一块新硬盘
1.挂载的经典案例
给Linux系统增加一个新的硬盘,并且挂载到/home/newdisk
步骤:
(1)虚拟机添加硬盘
设置 硬盘 添加 硬盘 SCSI  创建新的 2g 将虚拟磁盘拆分成多个文件
(2)分区
[root@hadoop01 ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0xeb040133.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won‘t be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
WARNING: DOS-compatible mode is deprecated. It‘s strongly recommended to
         switch off the mode (command ‘c‘) and change display units to
         sectors (command ‘u‘).
Command (m for help): m
Command action
   a   toggle a bootable flag
   b   edit bsd disklabel
   c   toggle the dos compatibility flag
   d   delete a partition
   l   list known partition types
   m   print this menu
   n   add a new partition
   o   create a new empty DOS partition table
   p   print the partition table
   q   quit without saving changes
   s   create a new empty Sun disklabel
   t   change a partition‘s system id
   u   change display/entry units
   v   verify the partition table
   w   write table to disk and exit
   x   extra functionality (experts only)
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-261, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-261, default 261):
Using default value 261
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
Syncing disks.
[root@hadoop01 ~]# lsblk -f
NAME   FSTYPE  LABEL   UUID                                 MOUNTPOINT
sr0    iso9660 CentOS_6.8_Final
                                                            /media/Cen
sdb                                                        
└─sdb1                                                     
sda                                                        
├─sda1 ext4            c39216c8-6e29-4dc0-a4a5-f65b5ef1510f /boot
├─sda2 swap            1f133837-449c-4950-901f-670aec7bbd34 [SWAP]
└─sda3 ext4            9574e41d-5e5f-40fe-8ad5-1f173d9e485f /
(3)格式化
[root@hadoop01 ~]# mkfs -t ext4 /dev/sdb1
(4)挂载
[root@hadoop01 ~]# mkdir /home/newdisk
[root@hadoop01 home]# mount /dev/sdb1 /home/newdisk
[root@hadoop01 home]# lsblk -f
sdb                                                        
└─sdb1 ext4            074f9d6f-cee4-4a19-ba0b-21f841c9cace /home/newd
(5)设置可以自动挂载
[root@hadoop01 home]# vim /etc/fstab
/dev/sdb1               /home/newdisk        ext4       defaults        0 0
[root@hadoop01 home]# mount -a
重启
[root@hadoop01 ~]# cd /home/newdisk
[root@hadoop01 newdisk]# ls
lost+found
sdb                                                                 
└─sdb1 ext4                     074f9d6f-cee4-4a19-ba0b-21f841c9cace /home/newdisk
卸载
[root@hadoop01 newdisk]# cd /home
[root@hadoop01 home]# umount /dev/sdb1
[root@hadoop01 home]# lsblk -f
sdb                                                                 
└─sdb1 ext4                     074f9d6f-cee4-4a19-ba0b-21f841c9cace
课时39 磁盘查询实用指令
1.磁盘情况查询
查询系统整体磁盘使用情况
df -h
[root@hadoop01 home]# df -lh
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        18G  2.8G   14G  17% /
tmpfs           491M   76K  491M   1% /dev/shm
/dev/sda1       190M   34M  147M  19% /boot
/dev/sr0        3.7G  3.7G     0 100% /media/CentOS_6.8_Final
2.查询指定目录的磁盘占用情况
du -h /目录
-s 指定目录占用大小汇总
-h 带计量单位
-a 含文件
--max-depth=1 子目录深度
-c 列出明细的同时,增加汇总值
实例
查询/opt目录的磁盘
[root@hadoop01 home]# du -ach --max-depth=1 /opt
148K /opt/home
4.0K /opt/rh
140K /opt/tmp
296K /opt
296K 总用量
3.磁盘情况-工作实用指令
(1)统计/home文件夹下文件的个数
[root@hadoop01 home]# ls -l /home | grep "^-" | wc -l
12
(2)统计/home文件夹下目录的个数
[root@hadoop01 home]# ls -l /home | grep "^d" | wc -l
13
(3)统计/home文件夹下文件的个数包括子文件夹里的
[root@hadoop01 home]# ls -lR /home | grep "^-" | wc -l
18
(4)统计文件夹下目录的个数,包括子文件夹里的
[root@hadoop01 home]# ls -lR /home | grep "^d" | wc -l
13
(5)以树状显示目录结构
[root@hadoop01 home]# yum install tree
[root@hadoop01 home]# tree

以上是关于大数据 Linux磁盘管理的主要内容,如果未能解决你的问题,请参考以下文章

大数据学习之_01_Linux学习_02_组管理和权限管理+定时任务调度+linux磁盘分区挂载+linux的网络配置+进程管理(重点)+软件包管理+大厂面试题+感悟分享+资料附录

十七linux系统磁盘管理

Linux磁盘概念及其管理工具fdisk

linux 系统管理技巧

Linux入门之磁盘管理RAID的实现

linux-RAID磁盘阵列进程管理日志管理systemctl控制