Shell脚本之正则表达式详解

x33g5p2x  于2021-10-27 转载在 Shell  
字(5.6k)|赞(0)|评价(0)|浏览(469)

一、常见的管道命令

1.1sort命令

sort命令可针对文本文件的内容,以行为单位来排序。

格式:sort [选项]  参数

常用选项:

选项说明
-f忽略大小写,会将小写字母都转换为大写字母来进行比较
-b忽略每行前面的空格
-n按照数字进行排序
-r反向排序
-u等同于uniq,表示相同的数据仅显示一行
-t指定字段分隔符,默认使用[Tab]键分隔
-k指定排序字段
-o<输出文件>将排序后的结果转存至指定文件

1.2uniq命令

uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用

格式:uniq [选项]  参数

常用选项:

选项说明
-c进行计数,并删除文件中重复出现的行
-d仅显示连续的重复行
-u仅显示出现一次的行

1.3 tr命令

常用来对来自标准输入的字符进行替换、压缩和删除。

格式:tr [选项] [参数]

常用选项

选项说明
-c保留字符集1的字符,其他的字符用(包括换行符\n)字符集2替换
-d删除所有属于字符集1的字符
-s将重复出现的字符串压缩为一个字符串;用字符集2 替换 字符集1
-t字符集2 替换 字符集1,不加选项同结果

*
常用参数

参数说明
字符集1指定要转换或删除的原字符集。当执行转换操作时,必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时,不需要参数“字符集2”
字符集2指定要转换成的目标字符集

1.4cut命令

显示行中的指定部分,删除文件中指定字段

格式:cut [选项]  参数

常用选项

选项说明
-f通过指定哪一个字段进行提取。cut命令使用“TAB”作为默认的字段分割符
-d“TAB”是默认的分隔符,使用此选项可更改为其他的分隔符
- -complement用于排除所指定的字段
- -output-delimiter更改输出内容的分隔符

1.5实例

1.5.1统计当前主机连接状态

[root@yxp data]#ss -ant|cut -d " " -f1|sort -n|uniq -c|head -2
      2 ESTAB
     13 LISTEN

1.5.2统计当前连接主机数

[root@yxp opt]#ss -ant|tr -s " "|cut -d" " -f5|cut -d":" -f1|sort|uniq -c|tail -n +3
      3 192.168.59.1
      1 192.168.59.118
      1 Address

二、正则表达式

2.1正则表达式的定义

正则表达式,又称正规表达式、常规表达式
*
使用字符串来描述、匹配一系列符合某个规则的字符串
*
正则表达式组成

普通字符包括大小写字母、数字、标点符号及一些其他符号。
*
元字符是指在正则表达式中具有特殊意义的专用字符

2.2常见元字符(支持的工具:find、grep、egrep、sed和awk)

匹配符表示含义
.表示任意一个字符
[ ]匹配括号中的一个字符
[^ ]表示否定括号中出现字符类中的字符,取反
\转义字符用于取消特殊符号的含义
^匹配字符串开始的位置
$匹配字符串结束的位置
{n}匹配前面的子表达式n次
{n,}匹配前面的子表达式不少于n次
{n,m}匹配前面的子表达式n到m次
[:alnum:]匹配任意字母和数字
[:alpha:]匹配任意字母,大写或小写
[:lower:]小写字符a-z
[:upper:]大写字符A-Z
[:blank:]空格和TAB字符
[:space:]所有空白字符( 新行、空格、制表符)
[:digit:]数字 0-9
[:xdigit:]16 进制数字
[:cntrl:]控制字符

示例1:. 表示任意一个字符

#表示任意一个字符
[root@yxp data]#echo abc|grep "a.c"
abc
#原来的点需要加\转义
[root@yxp data]#echo abc|grep "a\.c"

#标准格式需要加'' 或者""
[root@yxp data]#echo abc a.c|grep "a\.c"
abc a.c

[root@yxp data]#echo abc adc|grep "a.c"
abc adc

示例2:[ ] 匹配括号中的一个字符

#[yxp]
[root@yxp opt]#ls |grep "[yxp].txt"
p.txt
x.txt
y.txt
yxp.txt

#[0-9]
[root@yxp opt]#ls |grep "[0-9].txt"
0.txt
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt
7.txt
8.txt
9.txt

#{a..d}
[root@yxp aa]#touch {a..z}.txt
[root@yxp aa]#ls
a.txt  e.txt  i.txt  m.txt  q.txt  u.txt  y.txt
b.txt  f.txt  j.txt  n.txt  r.txt  v.txt  z.txt
c.txt  g.txt  k.txt  o.txt  s.txt  w.txt
d.txt  h.txt  l.txt  p.txt  t.txt  x.txt

#{A..Z}
[root@yxp bb]#touch {A..Z}.txt
[root@yxp bb]#ls
A.txt  E.txt  I.txt  M.txt  Q.txt  U.txt  Y.txt
B.txt  F.txt  J.txt  N.txt  R.txt  V.txt  Z.txt
C.txt  G.txt  K.txt  O.txt  S.txt  W.txt
D.txt  H.txt  L.txt  P.txt  T.txt  X.txt

#[a-d]:包括小a到小d,还有大写的,除了D
[root@yxp opt]#ls [a-d].txt
a.txt  A.txt  b.txt  B.txt  c.txt  C.txt  d.txt
##只想匹配小写(需要结合grep)
[root@yxp opt]#ls |grep '[a-d].txt'
a.txt
b.txt
c.txt
d.txt

#[A-D]:不包括小a
[root@yxp opt]#ls [A-D].txt
A.txt  b.txt  B.txt  c.txt  C.txt  d.txt  D.txt
##[A-D]只想匹配大写
[root@yxp opt]#ls |grep '[A-D].txt'
A.txt
B.txt
C.txt
D.txt

示例3:[^ ]:表示否定括号中出现字符类中的字符,取反

[root@yxp opt]#ls |grep "[^yxp].txt"
0.txt
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt
7.txt
8.txt
9.txt
a.txt
.........后面省略

[root@yxp opt]#echo 12txt|grep "[^az].txt"
12txt

示例4:[:alnum:]匹配任意字母和数字

##注意:一定要在外面再套一个[ ]
[root@yxp opt]#ls |grep '[[:alnum:]].txt'
0.txt
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt

**示例5:**元字符:(.)

#//表示rc. rc0  ... rc6
[root@yxp opt]#ls /etc/ |grep 'rc[.0-6]'
rc0.d
rc1.d
rc2.d
rc3.d
rc4.d
rc5.d
rc6.d
rc.d
rc.local

#r..t ..表示任意两个字符
[root@yxp opt]#grep "r..t" /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

2.3扩展正则表达式

支持的工具:egrep、awk 或 grep -E 和 sed -r

限定符说明
/*匹配前面子表达式0次或者多次
./*任意长度的任意字符
匹配前面子表达式0次或者1次,即:可有可无
+与星号相似,表示其前面字符出现一次或多次,但必须出现一次,>=1
{n,m}匹配前面的子表达式n到m次
{m}匹配前面的子表达式n次
{n,}匹配前面的子表达式不少于n次 >=n
{,n}匹配前面的子表达式最多n次,<=n
用逻辑OR(或)方式指定正则表达式要是用的模式
()字符串分组,将括号中的字符串作为一个整体。

**示例1:/***匹配前面子表达式0次或者多次

[root@yxp opt]#echo google ggle|grep "go*gle"
google ggle

[root@yxp opt]#echo google ggle gggle|grep "go*gle"
google ggle gggle

示例2:{n,m}匹配前面的子表达式n到m次

[root@yxp opt]#echo goooogle goole gggle|egrep "go{3,5}gle"
goooogle goole gggle

示例3:{n,} 匹配前面的子表达式不少于n次 >=n

[root@yxp opt]#echo goooogle gooogle gggle|egrep "go{3,}gle"
goooogle gooogle gggle

示例4:{,n} 匹配前面的子表达式最多n次,<=n

[root@yxp opt]#echo goooogle gooogle gggle|egrep "go{,3}gle"
goooogle gooogle gggle

示例5:/* 匹配前面子表达式0次或者多次

[root@yxp opt]#echo gggggggggggdadasgle|grep 'g*gle'
gggggggggggdadasgle

示例6:./*任意长度的任意字符

[root@yxp opt]#echo gggggggggggdadasgle|grep '.*gle'
gggggggggggdadasgle

示例7:匹配前面子表达式0次或者1次,即:可有可无

[root@yxp opt]#echo goole gogle ggle|egrep "go?gle"
goole gogle ggle

示例8:+与星号相似,表示其前面字符出现一次或多次,但必须出现一次,>=1

[root@yxp opt]#echo google gogle ggle gooogle|egrep "go+gle"
google gogle ggle gooogle

示例9:| 逻辑OR(或)方式指定正则表达式要是用的模式

[root@yxp opt]#echo 1ee 1abc 2abc|egrep "1|2abc"
1ee 1abc 2abc

示例10:() 字符串分组,将括号中的字符串作为一个整体。

[root@yxp opt]#echo 1ee 1abc 2abc|egrep "(1|2)abc"
1ee 1abc 2abc

**示例11:**提取ip地址

#法一
[root@yxp opt]#ifconfig ens33|grep "netmask"|grep -o -E "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"|head -1
192.168.59.102

#法二:使用了分组
[root@yxp opt]#ifconfig ens33|grep "netmask"|egrep -o '([0-9]{1,3}.){3}[0-9]{1,3}'|head -1
192.168.59.102

2.4位置锚定

位置限定符说明
^行首锚定,用于模式的最左侧
$行尾锚定,用于模式的最右侧
^PATTERN^用于模式匹配整行
^$空行
^:space:/*$空白行
< 或 \b词首锚定,用于单词模式的左侧(连续的数字,字母下划线都算)
>或 \b词尾锚定,用于单词的右侧
<PATTERN>匹配整个单词

**示例1:**行尾锚定,用于模式的最右侧

[root@yxp opt]#grep "bash$" /etc/passwd
root:x:0:0:root:/root:/bin/bash
yxp:x:1000:1000:yxp:/home/yxp:/bin/bash

**示例2:**行首锚定,用于模式的最左侧

[root@yxp opt]#grep "^root" /etc/passwd
root:x:0:0:root:/root:/bin/bash

**示例3:**用于模式匹配整行,匹配的内容单独在一行

[root@yxp opt]#echo root|grep "^root$" 
root

示例4:< :只匹配右侧的单词

[root@yxp opt]#echo hello-123|grep "\<123"
hello-123

示例5:>:只匹配左侧的单词

[root@yxp opt]#echo hello-123 222|grep "hello\>"
hello-123 222

**示例6:**过滤出不是以/#开头的非空行

[root@yxp opt]#grep "^[^#]" /etc/fstab 
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=183ca7c7-1989-4f43-9e81-d2676192f5a4 /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
/dev/sdb1 /mnt xfs defaults 0 0

相关文章