shell常用正则表达式

Posted 2020-09-21 linuxws

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了shell常用正则表达式相关的知识，希望对你有一定的参考价值。

NF（number of field）表示一行中的区域（列）数量，$NF取最后一个区域。
$符号表示取某个列（区域），$1,$2,$NF
NR (number of record) 行号,awk对每一行的记录号都有一个内置变量NR来保存，每处理完一条记录NR的值就会自动+1
FS（-F）field separator 列分隔符，以什么把行分隔成多列

[root@creditease awk]# awk -F "#" \'{print $NF}\' awk.txt
GKL$123
GKL$213
GKL$321
[root@creditease awk]# awk -F \'[#$]\' \'{print $NF}\' awk.txt
123
213
321

　　3.2 条件动作基本的条件和动作

[root@creditease awk]# cat awk.txt
ABC#DEF#GHI#GKL$123
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321
[root@creditease awk]# awk -F "#" \'NR==1{print $1}\' awk.txt
ABC

　　awk中$0表示整行

[root@creditease awk]# awk \'{print $0}\' awk_space.txt
ABC DEF GHI GKL$123
BAC DEF GHI GKL$213
CBA DEF GHI GKL$321

3.7 FNR

FNR与NR类似，不过多文件记录不递增，每个文件都从1开始（后边处理多文件会讲到）

[root@creditease awk]# awk \'{print NR}\' awk.txt awk_space.txt
1
2
3
4
5
6
[root@creditease awk]# awk \'{print FNR}\' awk.txt awk_space.txt
1
2
3
1
2
3

　　awk支持的正则表达式元字符

在指定行或者某一列中进行匹配，用下列两个操作符

正则匹配操作符
~	用于对记录或区域的表达式进行匹配。
！~	用于表达与~相反的意思。

awk默认不支持的元字符，和需要添加参数才能支持的元字符

实例：

[root@creditease awk]# cat awk.txt
ABC#DEF#GHI#GKL$123
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321

显示包含321的行

[root@creditease awk]# awk \'/321/{print $0}\' awk.txt
CBA#DEF#GHI#GKL$321

以#为分隔符，显示第一列以B开头或最后一列以1结尾的行

[root@creditease awk]# awk -F "#" \'$1~/^B/{print $0}$NF~/1$/{print $0}\' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321

以#为分隔符，显示第一列以B或C开头的行

[root@creditease awk]# awk -F "#" \'$1~/^B|^C/{print $0}\' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321
[root@creditease awk]# awk -F "#" \'$1~/^[BC]/{print $0}\' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321
[root@creditease awk]# awk -F "#" \'$1~/^(B|C)/{print $0}\' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321
[root@creditease awk]# awk -F "#" \'$1!~/^A/{print $0}\' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321

转载自：

http://www.cnblogs.com/linhaifeng/p/6596660.html 和 http://www.blogjava.net/jasmine214--love/archive/2011/10/12/361040.html

^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
\\< 单词头单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\\> 单词尾

扩展正则 sed 加 -r 参数或转义
grep 加 -E 或 egrep 或转义
AWK 直接支持但不包含{n,m}
可以使用--posix支持
[root@MiWiFi-R3-srv ~]# awk \'/ro{1,3}/{print}\' /etc/passwd
[root@MiWiFi-R3-srv ~]# awk --posix \'/ro{1,3}/{print}\' /etc/passwd

sed -n \'/roo\\?/p\' /etc/passwd
sed -rn \'/roo?/p\' /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x\\{m\\} x出现m次
x\\{m,\\} x出现m次至多次(至少m次)
x\\{m,n\\} x出现m次至n次

元字符及其在正则表达式上下文中的行为：

\\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个后向引用、或一个八进制转义符。

^ 匹配输入字符串的开始位置。如果设置了 RegExp 对象的Multiline 属性，^ 也匹配 ’\\n’ 或 ’\\r’ 之后的位置。

$ 匹配输入字符串的结束位置。如果设置了 RegExp 对象的Multiline 属性，$ 也匹配 ’\\n’ 或 ’\\r’ 之前的位置。

* 匹配前面的子表达式零次或多次。

+ 匹配前面的子表达式一次或多次。+ 等价于 {1,}。

? 匹配前面的子表达式零次或一次。? 等价于 {0,1}。

{n} n 是一个非负整数，匹配确定的n 次。

{n,} n 是一个非负整数，至少匹配n 次。

{n,m} m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。在逗号和两个数之间不能有空格。

? 当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的。
　　非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。

. 匹配除 “\\n” 之外的任何单个字符。要匹配包括 ’\\n’ 在内的任何字符，请使用象 ’[.\\n]’ 的模式。 
(pattern) 匹配pattern 并获取这一匹配。

(?:pattern) 匹配pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。

(?=pattern) 正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。

(?!pattern) 负向预查，与(?=pattern)作用相反

x|y 匹配 x 或 y。

[xyz] 字符集合。

[^xyz] 负值字符集合。

[a-z] 字符范围，匹配指定范围内的任意字符。

[^a-z] 负值字符范围，匹配任何不在指定范围内的任意字符。

posix定义的字符分类

[:alnum:] #Alphanumeric characters.
#匹配范围为 [a-zA-Z0-9]  任何字母或数字
[:alpha:] #Alphabetic characters.
#匹配范围为 [a-zA-Z]      任何字母
[:blank:] #Space or tab characters.
#匹配范围为 空格或制表符（[\\t ]）
[:cntrl:] #Control characters.
#匹配控制键 例如 ^M 要按 ctrl+v 再按回车 才能输出；
#ASCII控制字符（ASCII 0~31 和 ASCII 127）
[:digit:] #Numeric characters.
#匹配所有数字 [0-9]  任何数字
[:graph:] #Characters that are both printable and visible. (A space is print-
able, but not visible, while an a is both.)
#匹配所有可见字符 ，不包含空格和TAB 
[:lower:] #Lower-case alphabetic characters.
#小写 [a-z]  任何小写字母
[:print:] #Printable characters (characters that are not control characters.)
#匹配所有可见字符 包括空格和TAB
#能打印到纸上的所有符号
[:punct:] #Punctuation characters (characters that are not letter, digits, con-
trol characters, or space characters).
#特殊输入符号 +-=)(*&^%$#@!~`|\\"\'{}[]:;?/>.<,
#注意它不包含空格和TAB
#这个集合不等于^[a-zA-Z0-9]  
#不属于[:alnum:]和[:cntrl:]的任何字符
[:space:] #Space characters (such as space, tab, and formfeed, to name a few).
#任何空白字符，包括空格（[\\f\\n\\r\\t\\v ]）
[:upper:] #Upper-case alphabetic characters.
#大写 [A-Z]   任何大写字母
[:xdigit:] #Characters that are hexadecimal digits.
#16进制数 [0-f]   任何十六进制数字

使用方法:
[root@seker ~]# grep --color \'[[:alnum:]]\' /etc/passwd

=============================================

“^\\d+$” 　　#非负整数（正整数 + 0） 
“^[0-9]*[1-9][0-9]*$”   #正整数 
“^((-\\d+)|(0+))$”   #非正整数（负整数 + 0） 
“^-[0-9]*[1-9][0-9]*$” #负整数 
“^-?\\d+$”   #整数 
“^\\d+(\\.\\d+)?$”   #非负浮点数（正浮点数 + 0） 
“^(([0-9]+\\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\\.[0-9]+)|([0-9]*[1-9][0-9]*))$” #正浮点数 
“^((-\\d+(\\.\\d+)?)|(0+(\\.0+)?))$” #非正浮点数（负浮点数 + 0） 
“^(-(([0-9]+\\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\\.[0-9]+)|([0-9]*[1-9][0-9]*)))$” #负浮点数 
“^(-?\\d+)(\\.\\d+)?$” #浮点数 
“^[A-Za-z]+$” #由26个英文字母组成的字符串 
“^[A-Z]+$”   #由26个英文字母的大写组成的字符串 
“^[a-z]+$”   #由26个英文字母的小写组成的字符串 
“^[A-Za-z0-9]+$” #由数字和26个英文字母组成的字符串 
“^\\w+$”   #由数字、26个英文字母或者下划线组成的字符串 
“^[\\w-]+(\\.[\\w-]+)*@[\\w-]+(\\.[\\w-]+)+$” #email地址 
“^[a-zA-z]+://(\\w+(-\\w+)*)(\\.(\\w+(-\\w+)*))*(\\?\\S*)?$” #url 
/^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$/   #  年-月-日 
/^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$/   # 月/日/年 
“^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$”   #Emil 
/^((\\+?[0-9]{2,4}\\-[0-9]{3,4}\\-)|([0-9]{3,4}\\-))?([0-9]{7,8})(\\-[0-9]+)?$/     #电话号码 
“^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5])$”   #IP地址

28、提取信息中的IP地址：(\\d+)\\.(\\d+)\\.(\\d+)\\.(\\d+)

35、IP：(\\d+)\\.(\\d+)\\.(\\d+)\\.(\\d+)

7、正浮点数：^((0-9)+\\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\\.[0-9]+)| ([0-9]*[1-9][0-9]*))$

8、非正浮点数：^((-\\d+\\.\\d+)?)|(0+(\\.0+)?))$

9、负浮点数：^(-((正浮点数正则式)))$

或：^http:\\/\\/[A-Za-z0-9]+\\.[A-Za-z0-9]+[\\/=\\?%\\-&_~`@[\\]\\’:+!]*([^& lt;>\\"\\"])*$

匹配中文字符的正则表达式： [\\u4e00-\\u9fa5]

匹配中文字符的正则表达式： [u4e00-u9fa5]

18、中文：^[\\u0391-\\uFFE5]+$

匹配双字节字符(包括汉字在内)：[^\\x00-\\xff]
匹配空行的正则表达式：\\n[\\s| ]*\\r
匹配HTML标记的正则表达式：/<(.*)>.*<\\/\\1>|<(.*) \\/>/
匹配首尾空格的正则表达式：(^\\s*)|(\\s*$)
匹配网址URL的正则表达式：^[a-zA-z]+://(\\\\w+(-\\\\w+)*)(\\\\.(\\\\w+(-\\\\w+)*))*(\\\\?\\\\S*)?$
匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
匹配国内电话号码：

(\\d{3}-|\\d{4}-)?(\\d{8}|\\d{7})?

19、电话号码：^((\$\\d{2,3}\$)|(\\d{3}\\-))?(\$0\\d{2,3}\$|0\\d{2,3}-)?[1-9] \\d{6,7}(\\-\\d{1,4})?$

29、提取信息中的中国手机号码：(86)*0*13\\d{9}

30、提取信息中的中国固定电话号码：(\$\\d{3,4}\$|\\d{3,4}-|\\s)?\\d{8}

31、提取信息中的中国电话号码（包括移动和固定电话）：(\$\\d{3,4}\$|\\d{3,4}-|\\s)?\\d{7,14}

20、手机号码：^((\$\\d{2,3}\$)|(\\d{3}\\-))?13\\d{9}$

36、电话区号：/^0\\d{2,3}$/

匹配腾讯QQ号：^[1-9]*[1-9][0-9]*$

匹配双字节字符(包括汉字在内)：[^x00-xff]

匹配空行的正则表达式：n[s| ]*r

匹配HTML标记的正则表达式：/<(.*)>.*</1>|<(.*) />/

匹配首尾空格的正则表达式：(^s*)|(s*$)

利用正则表达式限制网页表单里的文本框输入内容：

用正则表达式限制只能输入中文：onkeyup=”value=value.replace(/[^u4E00-u9FA5]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^u4E00-u9FA5]/g,”))”

用正则表达式限制只能输入全角字符： onkeyup=”value=value.replace(/[^uFF00-uFFFF]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^uFF00-uFFFF]/g,”))”

用正则表达式限制只能输入数字：onkeyup=”value=value.replace(/[^d]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^d]/g,”))”

用正则表达式限制只能输入数字和英文：onkeyup=”value=value.replace(/[W]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^d]/g,”))”

=========常用正则表达式

匹配网址URL的正则表达式：http://(/[\\w-]+\\.)+[\\w-]+(/[\\w- ./?%&=]*)?

元字符（meta character）是一种Perl风格的正则表达式，只有一部分文本处理工具支持它，并不是所有的文本处理工具都支持。

\\b 匹配一个单词边界，也就是指单词和空格间的位置。

\\B 匹配非单词边界。

\\cx 匹配由x指明的控制字符。

\\d 匹配一个数字字符。等价于 [0-9]。

\\D 匹配一个非数字字符。等价于 [^0-9]。

\\f 匹配一个换页符。等价于 \\x0c 和 \\cL。

\\n 匹配一个换行符。等价于 \\x0a 和 \\cJ。

\\r 匹配一个回车符。等价于 \\x0d 和 \\cM。

\\s 匹配任何空白字符，包括空格、制表符、换页符等等。等价于[ \\f\\n\\r\\t\\v]。

\\S 匹配任何非空白字符。等价于 [^ \\f\\n\\r\\t\\v]。

\\t 匹配一个制表符。等价于 \\x09 和 \\cI。

\\v 匹配一个垂直制表符。等价于 \\x0b 和 \\cK。

\\w 匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。

\\W 匹配任何非单词字符。等价于 ’[^A-Za-z0-9_]’。

\\xn 匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。

\\num 匹配 num，其中num是一个正整数。对所获取的匹配的引用。

\\n 标识一个八进制转义值或一个后向引用。如果 \\n 之前至少 n 个获取的子表达式，则 n 为后向引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。

\\nm 标识一个八进制转义值或一个后向引用。
　　如果 \\nm 之前至少有is preceded by at least nm 个获取得子表达式，则 nm 为后向引用。
　　如果 \\nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的后向引用。
　　如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \\nm 将匹配八进制转义值 nm。

\\nml 如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。

\\un 匹配 n，其中 n 是一个用四个十六进制数字表示的Unicode字符。

17、邮政编码：^[1-9]\\d{5}$

22、匹配首尾空格：(^\\s*)|(\\s*$)（像vbscript那样的trim函数）

23、匹配HTML标记：<(.*)>.*<\\/\\1>|<(.*) \\/>

24、匹配空行：\\n[\\s| ]*\\r

25、提取信息中的网络链接：(h|H)(r|R)(e|E)(f|F) *= *(’|”)?(\\w|\\\\|\\/|\\.)+(’|”| *|>)?

26、提取信息中的邮件地址：\\w+([-+.]\\w+)*@\\w+([-.]\\w+)*\\.\\w+([-.]\\w+)*

27、提取信息中的图片链接：(s|S)(r|R)(c|C) *= *(’|”)?(\\w|\\\\|\\/|\\.)+(’|”| *|>)?

32、提取信息中的中国邮政编码：[1-9]{1}(\\d+){5}

33、提取信息中的浮点数（即小数）：(-?\\d*)\\.?\\d+

34、提取信息中的任何数字：(-?\\d*)(\\.\\d+)?

37、腾讯QQ号：^[1-9]*[1-9][0-9]*$

38、帐号(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$