《Linux命令行与shell脚本编程大全》第十五章 呈现数据

Posted 2020-10-16 xcywt

15.1 理解输入和输出

现在知道两种显示脚本输出的方法

1）在显示器屏幕上显示

2）将输出文件重定向到文件中

15.1.1 标准文件描述符

Linux系统将每个对象当做文件处理。这包括输入和数出进程。

Linux用文件描述符来标识每个文件对象。

它是一个非负整数，可以唯一标识会话中打开的文件。

每个进程一次最多可以有九个文件描述符

bash shell保留的前3个文件描述符（0、 1、 2）

 

1.STDIN 标准输入（0）

STDIN文件代表shell的标准输入。

对终端界面来说，标准输入是键盘。

shell从STDIN文件描述符对应的键盘获得输入，在用户输入时处理每个字符

在使用输入重定向符号（ < ）时，Linux会用重定向指定的文件来替换标准输入文件描述符。它会读取文件并提取数据，就如同它是键盘上键入的。

 

2.STDOUT 标准输出（1）

STDOUT文件描述符代表shell的标准输出。

对终端界面来说，标准输出是终端显示器。shell的所有输出会被定向到标准输出中。

也可以通过输出重定向（ > ）来改变输出。通过输出重定向符号，可以将本来显示在显示器上的输出重定向到指定的文件。

>>  表示追加到文件

注意：用了输出重定向，shell并未将错误消息重定向到输出重定向文件中。错误消息仍会显示在显示器中。

 

3.STDERR 标准错误（2）

STDERR文件描述符来处理错误消息。

shell或shell中运行的程序和脚本出错时生成的错误消息都会发送到这个位置。

默认情况下STROUT和STDERR指向同样的地方（显示器）。但是STDERR不会随着STDOUT重定向而发生改变。

 

15.1.2 重定向错误

1.只重定向错误

将该文件描述符值(2)放在重定向符号(>)前面，必须挨着，不能有空格。

比如，查看一个不存在的文件：

$ls –al 2> log.txt

这种方法只会重定向错误消息，普通输出不会被重定向。

 

2. 重定向错误和数据

需要用两个重定向符号，需要在符号前面放上待重定向数据所对应的文件描述符，然后指定用于保存数据的输出文件。

例如：

$ls -al test1 test2 test3 badfile 2> ErrLog.txt 1> DataLog.txt

表示将错误信息重定向到ErrLog.txt，正常输出重定向到DataLog.txt。

这样错误信息和正常输出就分开在两文件了。

 

$ls -al test1 test2 test3 badfile &> AllLog.txt

这样表示将STDOUT和STDERR重定向到同一个文件AllLog.txt中了。

bash shell自动赋予了错误消息更高的优先级，这样可以集中浏览错误信息了。

 

15.2 在脚本中重定向输出

有两种方法：

1）临时重定向行输出

2）永久重定向脚本中的所有命令

15.2.1 临时重定向

可以单独将一行重定向到STDERR。

比如：

echo “this is error msg” >&2

echo “this is normal msg”

 

正常运行不会看出什么，但是假如运行时重定向了STDERR就有意思了。

$./test 2> Error.txt

就可以看到第一行输出到了 Error.txt。而正常输出还是在屏幕上。

 

15.2.2 永久重定向

如果有大量数据需要重定向，那么就会比较麻烦。

新方法：用exec命令告诉shell在脚本执行期间重定向某个特定文件描述符

直接上例子：

1 #!/bin/bash

  2 echo "this is error msg step1" >&2

  3 echo "this is normal msg step1"

  4 # 上面没有重定向，所以还是在屏幕输出。下面才开始重定向到需要的文件中

  5 exec 1>test2log.txt

  6 exec 2>test2Error.txt

  7 echo "this is error msg step2" >&2

  8 echo "this is normal msg step2"

这样一旦重定向了就很难改回去了。

 

15.3 在脚本中重定向输入

exec 命令允许你将STDIN重定向到Linux系统上的文件中。

例子：查看test2中的数据

  1 #!/bin/bash

  2 exec 0< test2 # 输入重定向到test2中

  3 echo "test2:"

  4 count=1

  5 while read line

  6 do

  7         echo "  $line"

  8         count=$[ $count + 1 ]

  9 done

 

15.4 创建自己的重定向

之前说一个进程最多可以与9个打开的文件描述符。其他6个（3 ~ 8）的文件描述符均可用作输入或输出重定向。

可以将这些文件描述符中的任意一个分配给文件。

15.4.1 创建输出文件描述符

用exec命令给输出分配文件描述符。

和标准的文件描述符一样，一旦将另一个文件描述符分配给了一个文件，这个重定向就会一直有效，直到你重新分配。

例子：

  1 #!/bin/bash

  2 exec 3>test4log.txt # exec 3>>test4log.txt 这个是将输出追加到现有文件

  3 echo "This is Normal msg"

  4 echo "This is fd:3 msg" >&3

 

15.4.2 重定向文件描述符

现在介绍怎么恢复已重定向的文件描述符。

可以分配另外一个文件描述符给标准文件描述符，反之亦然。

可以将STDOUT重定向到另外一个文件描述符，然后再利用该文件描述符重定向回STDOUT

例子：

  1 #!/bin/bash

  2 # storing STDOUT, then coming back to it

  3 exec 3>&1 # 3重定向到STDOUT。意味着给3的数据都将出现再显示器上

  4 exec 1>test5log.txt # 将STDOUT重定向到文件。但是3仍然指向STDOUT原来的位置，也就是显示器。这时给3发会显示在显示器中。给STDOUT发会显示在文件中

  5 echo "This should store in the output file"

  6 echo "alone with this line."

  7

  8 exec 1>&3 # 将STDOUT重定向到3的当前位置（也就是显示器）

  9 echo "now things should be back to normal"

 

15.4.3 创建输入文件描述符

跟上面类似，先将STDIN保存到另外一个文件描述符，然后读取完文件在将STDIN恢复

例子：

  1 #!/bin/bash

  2 exec 6<&0 # 6先保存STDIN的位置

  3 exec 0<test5 # 将STDIN重定向到 test5

  4 count=1

  5 while read line

  6 do

  7         echo "  $line"

  8         count=$[ $count +1 ]

  9 done

 10

 11 exec 0<&6 # 读取完成后将STDIN重定向到文件描述符6，从而恢复之前的位置

 12 read -p "Are you done now?" answer

 13 case $answer in

 14 Y|y) echo "GoodBye!!!";;

 15 N|n) echo "Sorry, this is the end";;

 16 *) echo "Error End";;

 17 esac

 

15.4.4 创建读写文件描述符

可以打开单个文件描述符作为输入和输出。可以利用同一个文件描述符对同一个文件进行读写。

用起来要小心：由于是对同一个文件进行数据读写，shell会维护一个内部指针，指明在文件中的当前位置。任何读或写都是从文件指针上次的位置开始。

例子：

1 #!/bin/bash

  2 exec 3<> testfile

  3 read line <&3

  4 echo "Read：$line" #注意这里写是从文件指针上次的位置开始，也就是读了一行之后的位置

  5 echo "Write: This is test line" >&3

 

15.4.5 关闭文件描述符

如果你创建了新的输入或输出文件描述符，shell会在脚本退出时自动关闭它们。

但是某些时候还是要自己去关闭。

如何关闭： 将要关闭的文件描述符重定向到特殊符号 &-

一旦关闭后，就不能在脚本中向他写入数据，否则shell会产生错误信息。

例子：

  1 #!/bin/bash

  2 # close fd test

  3 exec 3>test8log.txt

  4 echo "This is normal to fd:3" >&3

  5 exec 3>&-

  6 echo "after close write:his is normal to fd:3" >&3 # 关闭后再往里面写会出错

  7

  8 exec 3>test8log.txt # 这里相当于重新打开了

  9 echo "This is bad normal to fd:3" >&3 # 会覆盖原来的

 

15.5 列出打开的文件描述符

lsof命令会列出整个linux系统打开的所有的文件描述符。会产生大量输出。

还可以接选项和参数：

-p 后面接要查看的进程。  $$ 表示当前进程

-d 后面指定要显示的文件描述符编号。

例子：

  1 #!/bin/bash

  2 exec 3> testfile

  3 lsof -a -p $$ -d 0,1,2,3,4

 

15.6 阻止命令输出

有时不想显示脚本的输出。可以将输出重定向到一个叫做null文件的特殊文件中去。

比如：

$ls –al > /dev/null

还可以这样清空日志文件

$ cat /dev/null > TestLog.txt

 

 

15.7 创建临时文件

linux使用/tmp目录来存放不需要永久保留的文件。大部分linux发行版配置了系统在启动时自动删除/tmp目录下的所有文件。

系统上的任何用户账户都有权限在读写/tmp目录中的文件。

mktemp可以在/tmp目录中创建一个唯一的临时文件。一旦创建了文件，你就在脚本中有了完整的读写权限，别人无法访问它。

15.7.1 创建本地临时文件

只需要指定一个文件名模板就行了，在文件末尾加上6个X。

$mktemp testing.XXXXXX

注意：这里一定要有大写的X。这里的X有点通配符的意思。还可以写不是X的

mktemp命令的输出是它所创建的文件的名字。在脚本中保存起来，就能在后面的脚本里引用了。

例子：

  1 #!/bin/bash

  2 # create and using temp file

  3 tempfile=$(mktemp test10.XXXXXX)

  4 echo "tempfile = $tempfile"

  5 exec 3>$tempfile

  6 echo "This script writes to tmp file $tempfile"

  7 echo "this is first line" >&3

  8 echo "this is second line" >&3

  9 echo "this is third line" >&3

 10 exec 3>&-

 11

 12 echo  "Now delete file $tempfile"

 13 rm -f $tempfile > /dev/null

 

15.7.2 在/tmp目录创建临时文件

-t 选项会强制mktemp在系统的临时目录来创建该文件。

这个时候返回用来创建临时文件的全路径，而不是只有文件名。

就上面的例子加上 –t就好了。

。。。

tempfile=$(mktemp -t test10.XXXXXX)

。。。

 

15.7.3 创建临时目录

-d选项用来创建临时目录。这样就能用改目录进行任何需要的操作了。

例子：

  1 #!/bin/bash

  2 # create and using temp dir

  3 tempdir=$(mktemp -d test12dir.12XXXX)

  4 cd $tempdir

  5 echo This in Dir:$(pwd)

  6 tempfile=$(mktemp test12.XXXXXX)

  7 echo "tempfile = $tempfile"

  8 exec 3>$tempfile

  9 echo "This script writes to tmp file $tempfile"

 10 echo "this is first line" >&3

 11 echo "this is second line" >&3

 12 echo "this is third line" >&3

 

15.8 记录消息

将输出同时发送到显示器和日志文件，需要特殊命令tee就可以了。

tee命令相当于管道第一个T型接头。它将STDIN过来的数据同时发往两处，一处是STDOUT，一处是指定的文件。

比如：

$date | tee log.txt

$date | tee –a log.txt   # 这个是将数据追加到文件中

例子：

  1 #!/bin/bash

  2 # tee test

  3 echo "This is 1 msg" | tee test13log.txt

  4 echo "This is 2 msg" | tee -a test13log.txt

  5 echo "This is 3 msg" | tee -a test13log.txt

 

15.9 实例

文件重定向常见于脚本需要读入文件和输出文件时。

需求：把数据数据放入电子表格中（.csv文件），读取文件，创建INSERT语句。

例子：

  1 #!/bin/bash

  2 outfile=\'members.sql\'

  3 IFS=,

  4 while read name age sex num

  5 do

  6         cat >> $outfile << EOF

  7         insert into members (name, age, sex, num) values(\'$name\', \'$age\', \'$sex\', \'$num\');

  8 EOF

  9 done <${1}

1）${1}代表第一个命令行参数。它指明了待读取数据的文件。

2）read会用IFS字符解析读入的文本，我们在这里将IFS指定为逗号。

 

cat >> $outfile << EOF  // 这一段还是不大理解

这个包含一个输出追加重定向（>>）和一个输入追加重定向（<<）。

>> 将cat命令的输出追加到由$outfile变量指定的文件中。

cat命令的输入不在取自标准输入，而是被重定向到脚本中存储的数据。

EOF符号标记了追加到文件中的数据的起止。

 

输入文件 + 运行 + 结果：

 

说明：

特殊重定向（here document）：

command << delimiter

         document

delimiter

作用是将两个delimiter之间的内容（document）作为输入传给command

注意：结尾的delimiter一定要顶格写，不能有空格。

（1）

  6         cat >> $outfile << EOF

  7         insert into members (name, age, sex, num) values(\'$name\', \'$age\', \'$sex\', \'$num\');

  8 EOF

（2）

  6         cat << EOF

  7         insert into members (name, age, sex, num) values(\'$name\', \'$age\', \'$sex\', \'$num\');

  8 EOF

 

黄色高亮部分作为输入传给cat。（1）重定向到outfile去了，（2）仍然是标准输出（屏幕）