Hadoop技术栈之Linux常用基础命令系统命令

Posted 黑马程序员官方

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop技术栈之Linux常用基础命令系统命令相关的知识,希望对你有一定的参考价值。

Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。下面就带大家一起来开始学Spark!

▼往期内容汇总:


一、Linux文件系统基础知识

Linux文件系统概念

  • 操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统;
  • 文件系统的结构通常叫做目录树结构,从斜杠/根目录开始;
  • Linux号称“万物皆文件”,意味着针对Linux的操作,大多数时间是在针对Linux文件系统操作。

文件系统通用特性

  • 几乎主流的文件系统都是从/根目录开始的,  Linux也不例外,而windows文件系统会以盘符来区分不同文件系统;    
  • 目录树中节点分为两个种类:  目录(directory)  、文件(file)  ;
  • 从根目录开始,  路径具有唯一性;
  • 只有在目录下才可以继续创建下一级目录,换句话说目录树到文件终止蔓延。

易混概念

  • 当前路径:也叫当前工作目录,  当下用户所属的位置;
  • 相对路径:相对当前工作目录开始的路径,  会随当前路径变化而变化;
  • 绝对路径:不管工作目录在哪,  绝对路径都是从/根目录开始,唯一不重复。

特殊符号

  •     .    目录或者文件名字以.开始表示是隐藏的文件,  如果路径以.开始表示当前路径
  •     ..   当前目录的上一级目录
  •     ~    当前用户的home目录,比如root用户home目录是/root
  •     /    根目录

 Linux命令帮助手

help命令

 man

 公益网站

Linux 命令大全 | 菜鸟教程

二、 Linux常用操作命令

概述

  • 命令属于死东西,属于多用多会,不用就忘的知识,  孰能生巧;
  • Tab键可以实现自动补全和提示,要合理使用;
  • history命令可以显示历史执行记录,或者使用方向键来切换前后执行过的命令;

(1/6)显示目录内容

  • ls  (list files)命令:用于显示指定工作目录下之内容(列出目前工作目录所含之文件及子目录)。
  • -a 显示所有文件及目录 (.开头的隐藏文件也会列出)
  • -l 除文件名称外,亦将文件型态、权限、拥有者、文件大小等资讯详细列出 注意ls -l = ll

(2/6)切换目录

  • cd  (change directory)  命令:用于切换当前工作目录。切换的路径可为绝对路径或相对路径。若路径省略,则
  • 变换至使用者的home目录 。
  • ~ 也表示为home目录的意思
  • . 则是表示目前所在的目录
  • ..则表示目前目录位置的上一层目录 

 

 (3/6)创建、删除

  •     mkdir  (make directory)  命令:用于创建目录。
  • -p 保父目录名称存在,  不存在的就建一个。
  •     touch 命令:创建一个空文件,无任何内容
  •     rm  (remove)  命令:用于删除一个文件或者目录。
  • -f 强制直接删除,  无需用户确认。
  • -r 将目录及以下所有递归逐一删除。

 (4/6)复制、移动

  •     cp  (copy file)  命令:用于复制文件或目录。
  • -r:若给出的源文件是一个目录文件,  此时将复制该目录下所有的子目录和文件。
  •     mv  (move file)  命令:用来为文件或目录改名、或将文件或目录移入其它位置。

 (5/6)文件内容查

  •   cat  (concatenate)  命令:用于连接文件并打印到标准输出设备如console控制台上。适合小文件内容查看。
  •  more 命令:类似cat,  不过会以一页一页的形式显示,更方便使用者逐页阅读,  翻页结束自动退出。适合大文件
  • 看。按space键翻下一页,按b往回  (back)上一页
  • tail 命令:用于查看文件的结尾部分的内容。
  • -n  用于显示行数,默认为10,即显示 10 行的内容。
  • -f  用于实时显示文件动态追加的内容。会把文件里的最尾部的内容显示在屏幕上,并且不断刷新,只要
  • 文件有更新,就可以看到最新的文件内容。

(6/6)其他

  •     | 管道命令:将前一个命令执行的结果作为内容交给下一个命令处理。可以形成多级管道操作。
  • 命令1|命令2  可以将命令1的结果通过命令2作进一步的处理
  •     echo 命令:  用于内容的输出,  将内容输出到console控制台上。
  • echo string
  •     >  输出重定向(覆盖)命令
  • command > file 执行command然后将输出的内容存入file,  file内已经存在的内容将被新内容覆盖替代
  •     >> 输出重定向  (追加)命令
  • command >> file 执行command然后将输出的容存入file,  新内容追加在文件末尾

解压缩命令

(1/2)打包、解包

  • tar  (tape archive )  命令:常用于备份文件。是用来建立,还原备份文件的工具程序,它可以加入,解开备份文件内 文件。
  • -c 或--create 建立新的备份文件。
  • -x 或--extract或--get 从备份文件中还原文件
  • -v --verbose 显示指令执行过程。
  • -f <备份文件>或--file=<备份文件> 指定备份文件。
  •       (2/2)打包压缩、解包解压
  • 在打包备份或者解包过程中,  可以通过指定压缩算法,对打包的文件进行压缩,解压的时候也需要指定相应的算法。
  • -z 或--gzip或--ungzip 通过gzip指令处理备份文件。
  • 最重要的搭配:   tar -zxvf xxxxx.tar.gz

 三、Linux常用系统命令

时间、日期查看

  •     date命令:用来显示或设定系统的日期与时间,  在显示方面,  使用者可以设定欲显示的格式,格式设定为一个加号
  • 后接数个标记。
  •     cal  (calendar)  命令:用于用于显示当前或者指定日期的公历。
  •  内存、磁盘使用率查看

  •     free命令:用于显示内存状态。会显示内存的使用情况,包括实体内存,  虚拟的交换文件内存,共享内存区段,以
  • 及系统核心使用的缓冲区等。
  •     df  (英文全拼:  disk free)命令:用于显示目前在 Linux 系统上的文件系统磁盘使用情况统计。
  • 进程查看

  • ps   (英文全拼:  process status)  命令:用于显示当前进程的状态,  类似于windows 的任务管理器。    
  • jps命令这是JDK自带的命令,专门用于查看本机运行的java进程情况。

以上是关于Hadoop技术栈之Linux常用基础命令系统命令的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop技术之HDFS shell操作

Hadoop技术之HDFS分布式文件系统基础

#yyds干货盘点# 大数据技术栈之Hadoop-HDFS

Hadoop技术之HDFS工作流程与机制

《OD学Hadoop》Linux基础

Hadoop技术之Apache Hadoop集群搭建