《Linux命令行与shell脚本编程大全》第十五章 呈现数据

Posted xcywt

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《Linux命令行与shell脚本编程大全》第十五章 呈现数据相关的知识,希望对你有一定的参考价值。

15.1 理解输入和输出

现在知道两种显示脚本输出的方法

1)在显示器屏幕上显示

2)将输出文件重定向到文件中

15.1.1 标准文件描述符

Linux系统将每个对象当做文件处理。这包括输入和数出进程。

Linux用文件描述符来标识每个文件对象。

它是一个非负整数,可以唯一标识会话中打开的文件。

每个进程一次最多可以有九个文件描述符

bash shell保留的前3个文件描述符(0、 1、 2)

 

1.STDIN 标准输入(0)

STDIN文件代表shell的标准输入。

对终端界面来说,标准输入是键盘。

shell从STDIN文件描述符对应的键盘获得输入,在用户输入时处理每个字符

在使用输入重定向符号( < )时,Linux会用重定向指定的文件来替换标准输入文件描述符。它会读取文件并提取数据,就如同它是键盘上键入的。

 

2.STDOUT 标准输出(1

STDOUT文件描述符代表shell的标准输出。

对终端界面来说,标准输出是终端显示器。shell的所有输出会被定向到标准输出中。

也可以通过输出重定向( > )来改变输出。通过输出重定向符号,可以将本来显示在显示器上的输出重定向到指定的文件。

>>  表示追加到文件

注意:用了输出重定向,shell并未将错误消息重定向到输出重定向文件中。错误消息仍会显示在显示器中。

 

3.STDERR 标准错误(2)

STDERR文件描述符来处理错误消息。

shell或shell中运行的程序和脚本出错时生成的错误消息都会发送到这个位置。

默认情况下STROUT和STDERR指向同样的地方(显示器)。但是STDERR不会随着STDOUT重定向而发生改变。

 

15.1.2 重定向错误

1.只重定向错误

将该文件描述符值(2)放在重定向符号(>)前面,必须挨着,不能有空格。

比如,查看一个不存在的文件:

$ls –al 2> log.txt

这种方法只会重定向错误消息,普通输出不会被重定向。

 

2. 重定向错误和数据

需要用两个重定向符号,需要在符号前面放上待重定向数据所对应的文件描述符,然后指定用于保存数据的输出文件。

例如:

$ls -al test1 test2 test3 badfile 2> ErrLog.txt 1> DataLog.txt

表示将错误信息重定向到ErrLog.txt,正常输出重定向到DataLog.txt。

这样错误信息和正常输出就分开在两文件了。

 

$ls -al test1 test2 test3 badfile &> AllLog.txt

这样表示将STDOUT和STDERR重定向到同一个文件AllLog.txt中了。

bash shell自动赋予了错误消息更高的优先级,这样可以集中浏览错误信息了。

 

15.2 在脚本中重定向输出

有两种方法:

1)临时重定向行输出

2)永久重定向脚本中的所有命令

15.2.1 临时重定向

可以单独将一行重定向到STDERR。

比如:

echo “this is error msg” >&2

echo “this is normal msg”

 

正常运行不会看出什么,但是假如运行时重定向了STDERR就有意思了。

$./test 2> Error.txt

就可以看到第一行输出到了 Error.txt。而正常输出还是在屏幕上。

 

15.2.2 永久重定向

如果有大量数据需要重定向,那么就会比较麻烦。

新方法:用exec命令告诉shell在脚本执行期间重定向某个特定文件描述符

直接上例子:

1 #!/bin/bash

  2 echo "this is error msg step1" >&2

  3 echo "this is normal msg step1"

  4 # 上面没有重定向,所以还是在屏幕输出。下面才开始重定向到需要的文件中

  5 exec 1>test2log.txt

  6 exec 2>test2Error.txt

  7 echo "this is error msg step2" >&2

  8 echo "this is normal msg step2"

这样一旦重定向了就很难改回去了。

 

15.3 在脚本中重定向输入

exec 命令允许你将STDIN重定向到Linux系统上的文件中。

例子:查看test2中的数据

  1 #!/bin/bash

  2 exec 0< test2 # 输入重定向到test2

  3 echo "test2:"

  4 count=1

  5 while read line

  6 do

  7         echo "  $line"

  8         count=$[ $count + 1 ]

  9 done

 

15.4 创建自己的重定向

之前说一个进程最多可以与9个打开的文件描述符。其他6个(3 ~ 8)的文件描述符均可用作输入或输出重定向。

可以将这些文件描述符中的任意一个分配给文件。

15.4.1 创建输出文件描述符

用exec命令给输出分配文件描述符。

和标准的文件描述符一样,一旦将另一个文件描述符分配给了一个文件,这个重定向就会一直有效,直到你重新分配。

例子:

  1 #!/bin/bash

  2 exec 3>test4log.txt # exec 3>>test4log.txt 这个是将输出追加到现有文件

  3 echo "This is Normal msg"

  4 echo "This is fd:3 msg" >&3

 

15.4.2 重定向文件描述符

现在介绍怎么恢复已重定向的文件描述符。

可以分配另外一个文件描述符给标准文件描述符,反之亦然。

可以将STDOUT重定向到另外一个文件描述符,然后再利用该文件描述符重定向回STDOUT

例子:

  1 #!/bin/bash

  2 # storing STDOUT, then coming back to it

  3 exec 3>&1 # 3重定向到STDOUT。意味着给3的数据都将出现再显示器上

  4 exec 1>test5log.txt # 将STDOUT重定向到文件。但是3仍然指向STDOUT原来的位置,也就是显示器。这时给3发会显示在显示器中。给STDOUT发会显示在文件中

  5 echo "This should store in the output file"

  6 echo "alone with this line."

  7

  8 exec 1>&3 # 将STDOUT重定向到3的当前位置(也就是显示器)

  9 echo "now things should be back to normal"

 

15.4.3 创建输入文件描述符

跟上面类似,先将STDIN保存到另外一个文件描述符,然后读取完文件在将STDIN恢复

例子:

  1 #!/bin/bash

  2 exec 6<&0 # 6先保存STDIN的位置

  3 exec 0<test5 # 将STDIN重定向到 test5

  4 count=1

  5 while read line

  6 do

  7         echo "  $line"

  8         count=$[ $count +1 ]

  9 done

 10

 11 exec 0<&6 # 读取完成后将STDIN重定向到文件描述符6,从而恢复之前的位置

 12 read -p "Are you done now?" answer

 13 case $answer in

 14 Y|y) echo "GoodBye!!!";;

 15 N|n) echo "Sorry, this is the end";;

 16 *) echo "Error End";;

 17 esac

 

15.4.4 创建读写文件描述符

可以打开单个文件描述符作为输入和输出。可以利用同一个文件描述符对同一个文件进行读写。

用起来要小心:由于是对同一个文件进行数据读写,shell会维护一个内部指针,指明在文件中的当前位置。任何读或写都是从文件指针上次的位置开始。

例子:

1 #!/bin/bash

  2 exec 3<> testfile

  3 read line <&3

  4 echo "Read:$line" #注意这里写是从文件指针上次的位置开始,也就是读了一行之后的位置

  5 echo "Write: This is test line" >&3

 

15.4.5 关闭文件描述符

如果你创建了新的输入或输出文件描述符,shell会在脚本退出时自动关闭它们。

但是某些时候还是要自己去关闭。

如何关闭: 将要关闭的文件描述符重定向到特殊符号 &-

一旦关闭后,就不能在脚本中向他写入数据,否则shell会产生错误信息。

例子:

  1 #!/bin/bash

  2 # close fd test

  3 exec 3>test8log.txt

  4 echo "This is normal to fd:3" >&3

  5 exec 3>&-

  6 echo "after close write:his is normal to fd:3" >&3 # 关闭后再往里面写会出错

  7

  8 exec 3>test8log.txt # 这里相当于重新打开了

  9 echo "This is bad normal to fd:3" >&3 # 会覆盖原来的

 

15.5 列出打开的文件描述符

lsof命令会列出整个linux系统打开的所有的文件描述符。会产生大量输出。

还可以接选项和参数:

-p 后面接要查看的进程。  $$ 表示当前进程

-d 后面指定要显示的文件描述符编号。

例子:

  1 #!/bin/bash

  2 exec 3> testfile

  3 lsof -a -p $$ -d 0,1,2,3,4

 

15.6 阻止命令输出

有时不想显示脚本的输出。可以将输出重定向到一个叫做null文件的特殊文件中去。

比如:

$ls –al > /dev/null

还可以这样清空日志文件

$ cat /dev/null > TestLog.txt

 

 

15.7 创建临时文件

linux使用/tmp目录来存放不需要永久保留的文件。大部分linux发行版配置了系统在启动时自动删除/tmp目录下的所有文件。

系统上的任何用户账户都有权限在读写/tmp目录中的文件。

mktemp可以在/tmp目录中创建一个唯一的临时文件。一旦创建了文件,你就在脚本中有了完整的读写权限,别人无法访问它。

15.7.1 创建本地临时文件

只需要指定一个文件名模板就行了,在文件末尾加上6个X。

$mktemp testing.XXXXXX

注意:这里一定要有大写的X。这里的X有点通配符的意思。还可以写不是X的

mktemp命令的输出是它所创建的文件的名字。在脚本中保存起来,就能在后面的脚本里引用了。

例子:

  1 #!/bin/bash

  2 # create and using temp file

  3 tempfile=$(mktemp test10.XXXXXX)

  4 echo "tempfile = $tempfile"

  5 exec 3>$tempfile

  6 echo "This script writes to tmp file $tempfile"

  7 echo "this is first line" >&3

  8 echo "this is second line" >&3

  9 echo "this is third line" >&3

 10 exec 3>&-

 11

 12 echo  "Now delete file $tempfile"

 13 rm -f $tempfile > /dev/null

 

15.7.2 在/tmp目录创建临时文件

-t 选项会强制mktemp在系统的临时目录来创建该文件。

这个时候返回用来创建临时文件的全路径,而不是只有文件名。

就上面的例子加上 –t就好了。

。。。

tempfile=$(mktemp -t test10.XXXXXX)

。。。

 

15.7.3 创建临时目录

-d选项用来创建临时目录。这样就能用改目录进行任何需要的操作了。

例子:

  1 #!/bin/bash

  2 # create and using temp dir

  3 tempdir=$(mktemp -d test12dir.12XXXX)

  4 cd $tempdir

  5 echo This in Dir:$(pwd)

  6 tempfile=$(mktemp test12.XXXXXX)

  7 echo "tempfile = $tempfile"

  8 exec 3>$tempfile

  9 echo "This script writes to tmp file $tempfile"

 10 echo "this is first line" >&3

 11 echo "this is second line" >&3

 12 echo "this is third line" >&3

 

15.8 记录消息

输出同时发送到显示器和日志文件,需要特殊命令tee就可以了。

tee命令相当于管道第一个T型接头。它将STDIN过来的数据同时发往两处,一处是STDOUT,一处是指定的文件。

比如:

$date | tee log.txt

$date | tee –a log.txt   # 这个是将数据追加到文件中

例子:

  1 #!/bin/bash

  2 # tee test

  3 echo "This is 1 msg" | tee test13log.txt

  4 echo "This is 2 msg" | tee -a test13log.txt

  5 echo "This is 3 msg" | tee -a test13log.txt

 

15.9 实例

文件重定向常见于脚本需要读入文件和输出文件时。

需求:把数据数据放入电子表格中(.csv文件),读取文件,创建INSERT语句。

例子:

  1 #!/bin/bash

  2 outfile=\'members.sql\'

  3 IFS=,

  4 while read name age sex num

  5 do

  6         cat >> $outfile << EOF

  7         insert into members (name, age, sex, num) values(\'$name\', \'$age\', \'$sex\', \'$num\');

  8 EOF

  9 done <${1}

1)${1}代表第一个命令行参数。它指明了待读取数据的文件

2)read会用IFS字符解析读入的文本,我们在这里将IFS指定为逗号。

 

cat >> $outfile << EOF  // 这一段还是不大理解

这个包含一个输出追加重定向(>>)和一个输入追加重定向(<<)。

>> 将cat命令的输出追加到由$outfile变量指定的文件中。

cat命令的输入不在取自标准输入,而是被重定向到脚本中存储的数据。

EOF符号标记了追加到文件中的数据的起止。

 

输入文件 + 运行 + 结果:

 

说明:

特殊重定向(here document):

command << delimiter

         document

delimiter

作用是将两个delimiter之间的内容(document)作为输入传给command

注意:结尾的delimiter一定要顶格写,不能有空格

(1)

  6         cat >> $outfile << EOF

  7         insert into members (name, age, sex, num) values(\'$name\', \'$age\', \'$sex\', \'$num\');

  8 EOF

(2)

  6         cat << EOF

  7         insert into members (name, age, sex, num) values(\'$name\', \'$age\', \'$sex\', \'$num\');

  8 EOF

 

黄色高亮部分作为输入传给cat。(1)重定向到outfile去了,(2)仍然是标准输出(屏幕)

以上是关于《Linux命令行与shell脚本编程大全》第十五章 呈现数据的主要内容,如果未能解决你的问题,请参考以下文章

《Linux命令行与shell脚本编程大全》第十七章 创建函数

《Linux命令行与shell脚本编程大全》第十三章 更多的结构化命令

《Linux命令行与shell脚本编程大全》第二十五章 创建与数据库web及电子邮件相关的脚本

《Linux命令行与shell脚本编程大全》第十八章 图形化桌面环境中的脚本编程

持续更新中Linux命令行与Shell脚本编程大全(第3版)读书笔记12-20章

linux命令行与shell脚本编程大全---bash shell命令