华南中天论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
华南中天论坛 门户 网络技术 大数据 查看内容

AWK用法

2020-1-10 23:31| 发布者: 风痕| 查看: 129| 评论: 0

摘要: awk工具概述 awk编程语言/数据处理引擎 创造者: Aho  Weinberger  Kerninghan 基于模式匹配检查输入文本,获取指定的数据 通常用在shell脚本中,获取指定的数据 单独使用时,可对文本数据做统计 优点就是精确

awk工具概述

  • awk编程语言/数据处理引擎
  • 创造者: Aho  Weinberger  Kerninghan
  • 基于模式匹配检查输入文本,获取指定的数据
  • 通常用在shell脚本中,获取指定的数据
  • 单独使用时,可对文本数据做统计
  • 优点就是精确查找,唯一缺点就是不能修改文件

awk命令格式

  • 格式1 : 前置命令 | awk  [选项]   '{(条件)指令}'
  • 格式2 : awk  [选项]  '{(条件)指令}'  被处理的文件
  • 条件类似sed定址符,但是功能更强大

常用命令选项

  • -F  :  指定分隔符,可省略(默认空格或Tab位)

常用指令

  • print :  输出

awk内置变量

  • 有特殊含义,可直接使用
awk 内置变量列表
变量 含义
FS 保存或设置字段分隔符,例如FS=":" ,  与 -F 功能一样
$n 指定分隔的第n个字段,如$1.$3分别表示第1列,第3列
$0 当前读入的整行文本内容(文本当前行的全部内容)
NF 记录当前处理的字段个数(列数)
NR 记录当前已读入行的数量(行数)
  • ""  :  常量,一般写提示语
  • \t  :  Tab制表键
  • ,  :  可以实现$n之间的空格效果
[root@proxy mnt]# cat nns  ##以nns作为素材
Hello the worlD
welcome to bEijing
[root@proxy mnt]# awk '{print $1,$2}' nns  ##列出全文第1列和第2列
Hello the
welcome to
[root@proxy mnt]# awk '{print $3,$1}' nns  ##列出全文第3列和第1列
worlD Hello
bEijing welcome
[root@proxy mnt]# awk '{print $0}' nns  ##列出全文
Hello the worlD
welcome to bEijing
[root@proxy mnt]# awk '{print}' nns    ##效果同上
Hello the worlD
welcome to bEijing
[root@proxy mnt]# awk '{print $3,$0}' nns  ##列出第3列和全文
worlD Hello the worlD
bEijing welcome to bEijing
[root@proxy mnt]# cat test  ##以test作为素材
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@proxy mnt]# awk '{print $1}' test  ##默认空格为分隔符,所以输出全文
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@proxy mnt]# awk -F: '{print $1}' test   ##定义:为分隔符,所以输出全文第一列
root
bin
daemon
adm
lp
[root@proxy mnt]# awk -F: '{print $5}' test  ##定义:为分隔符,所以输出全文第5列
root
bin
daemon
adm
lp
[root@proxy mnt]# awk -F: '{print $6}' test  ##定义:为分隔符,所以输出全文第6列
root
/root
/bin
/sbin
/var/adm
/var/spool/lpd
[root@proxy mnt]# awk -F: '{print $7}' test  ##定义:为分隔符,所以输出全文第6列
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
[root@proxy mnt]# awk -F: '/root/{print $1}' test 
root   ##定义:为分隔符,列出有root的行的第1列
[root@proxy mnt]# awk -F: '/^bin/{print $1}' test 
bin    ##定义:为分隔符,列出以bin开头的行的第1列
[root@proxy mnt]# awk -F: '{print $1"的家目录是"$7}' test  ##配合常量显示
root的家目录是/root
bin的家目录是/bin
daemon的家目录是/sbin
adm的家目录是/var/adm
lp的家目录是/var/spool/lpd
[root@proxy mnt]# awk -F: '{print $1"的UID是"$3}' test  ##配合常量显示
root的UID是0
bin的UID是1
daemon的UID是2
adm的UID是3
lp的UID是4
[root@proxy mnt]# awk -F[:/] '{print $10}'  test  ##定义:/为分隔符,所以一行有10列
bash
nologin
nologin
sbin
[root@proxy mnt]# awk -F: '{print NF}' test  ##定义:为分隔符,列出所有行的所有列数
7
7
7
7
7
[root@proxy mnt]# awk -F: '{print NR}' test  ##定义:为分隔符,列出所有行数
1
2
3
4
5
[root@proxy mnt]# awk -F: '{print NR,NF}' test  ##定义:为分隔符,列出所有行数和列数
1 7
2 7
3 7
4 7
5 7

用awk截取接收流量

[root@proxy mnt]# ifconfig eth0
eth0: flags=4163  mtu 1500
        inet 192.168.4.207  netmask 255.255.255.0  broadcast 192.168.4.255
        ether 52:54:00:67:2e:b5  txqueuelen 1000  (Ethernet)
        RX packets 9009  bytes 654078 (638.7 KiB)
        RX errors 0  dropped 3893  overruns 0  frame 0
        TX packets 3303  bytes 399300 (389.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

  • RX : 代表接收流量
  • TX : 代表发送流量
[root@proxy mnt]# ifconfig eth0 | awk '/RX pa/{print $4,$5}'  ##列出接收流量
bytes 676314
[root@proxy mnt]# ifconfig eth0 | awk '/RX pa/{print $4,$5}'  ##列出发送流量
bytes 676894
[root@proxy mnt]# ifconfig eth0 | awk  '/RX p/{print "eth0的接收流量是"$5" 字节"}'
eth0的接收流量是719538字节    ##用常量表示
[root@proxy mnt]# ifconfig eth0 | awk  '/TX p/{print "eth0的发送流量是"$5" 字节"}'
eth0的发送流量是439372字节    ##用常量表示

使用awk提取根分区剩余容量(提取硬盘空间信息)

[root@proxy mnt]# df -h
文件系统        容量  已用  可用 已用% 挂载点
/dev/vda1        30G  1.9G   29G    7% /     
devtmpfs        697M     0  697M    0% /dev
tmpfs           707M     0  707M    0% /dev/shm
tmpfs           707M  8.5M  699M    2% /run
tmpfs           707M     0  707M    0% /sys/fs/cgroup
tmpfs           142M     0  142M    0% /run/user/0

  • 找以/结尾的剩余容量
[root@proxy mnt]# df -h | awk '/\/$/{print "根分区剩余容量是"$3}'
根分区剩余容量是1.9G

查找访问本机密码输入失败的IP信息

  • /var/log/secure  ##这个文件是存放用户远程登录信息的文件

[root@proxy mnt]# tail  /var/log/secure
Jan  8 12:55:58 proxy sshd[13949]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.4.6  user=root
Jan  8 12:55:58 proxy sshd[13949]: pam_succeed_if(sshd:auth): requirement "uid >= 1000" not met by user "root"
Jan  8 12:56:00 proxy sshd[13949]: Failed password for root from 192.168.4.6 port 41394 ssh2
Jan  8 12:56:01 proxy sshd[13949]: pam_succeed_if(sshd:auth): requirement "uid >= 1000" not met by user "root"
Jan  8 12:56:02 proxy sshd[13949]: Failed password for root from 192.168.4.6 port 41394 ssh2
Jan  8 12:56:03 proxy sshd[13949]: pam_succeed_if(sshd:auth): requirement "uid >= 1000" not met by user "root"
Jan  8 12:56:06 proxy sshd[13949]: Failed password for root from 192.168.4.6 port 41394 ssh2
Jan  8 12:56:06 proxy sshd[13949]: error: maximum authentication attempts exceeded for root from 192.168.4.6 port 41394 ssh2 [preauth]
Jan  8 12:56:06 proxy sshd[13949]: Disconnecting: Too many authentication failures [preauth]
Jan  8 12:56:06 proxy sshd[13949]: PAM 2 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.4.6  user=root

 

[root@proxy mnt]# awk '/Failed/{print $11}' /var/log/secure
student
student
student
student
student
student
student
student
student
192.168.4.6
192.168.4.6
192.168.4.6
192.168.4.6

awk处理时机

  • BEGIN{}   在所有行前处理 (指令执行1次)
  • 在读入第一行文本之前执行
  • 一般用来初始化操作
  • {}  逐行处理  (指令执行n次)
  • 逐行读入文本执行相应的处理
  • 是最常见的编辑指令块
  • END{}  在所有行后处理  (指令执行1次)
  • 处理完最后一行文本之后执行
  • 一般用来输出处理结果
  • 格式 :  awk 'BEGIN{指令1次}{逐行任务n次}END{指令1次}'
[root@proxy mnt]# awk  'BEGIN{print "abc"}'   ##列出常量abc一次
abc
[root@proxy mnt]# awk 'BEGIN{print NR}{print "abc"}' test
0
abc
abc
abc
abc
abc   ##执行一次BEGIN后,再逐行处理
[root@proxy mnt]# awk  '{print "abc"}' test  ##全文逐行处理,输出abc
abc
abc
abc
abc
abc
[root@proxy mnt]# awk 'BEGIN{print NR}{print NR}END{print NR}' test
0
1
2
3
4
5
5   ##添加了end任务,多输出最后一行的行号
[root@proxy mnt]# awk 'BEGIN{print NR}{print NR}' test
0
1
2
3
4
5
[root@proxy mnt]# awk 'BEGIN{A=24; print A*2}'   ## 定义变量,做运算
48
[root@proxy mnt]# awk 'BEGIN{A=0}{A++}END{print A}' test 
5      ##定义变量,做逐行运算,最后输出值
[root@proxy mnt]# awk  'BEGIN{print "abc"}{print "xyz"}END{print "789"}' test
abc
xyz
xyz
xyz
xyz
xyz
789   ##列出常量ABC 1次 逐行处理输出xyz 最后列出789
[root@proxy mnt]# awk -F: 'BEGIN{print "abc"}{print $1}END{print NR}' test
abc
root
bin
daemon
adm
lp
5    ##列出常量ABC 1次 逐行处理输出第1列 最后列出逐行处理的行数
[root@proxy mnt]# awk 'BEGIN{print NR}' test  ##输出一次行号,第一行之前的行号,结果为0
0


使用AWK格式化输出文档内容

[root@proxy mnt]# awk -F: 'BEGIN{print "USER\tUID\tHome"}'   ##行前输出
USER    UID    Home
[root@proxy mnt]# awk -F: '{print $1"\t"$3"\t"$6}' test    ##逐行处理
root             0             /root
bin              1             /bin
daemon      2             /sbin
adm            3             /var/adm
lp                4             /var/spool/lpd
[root@proxy mnt]# awk -F: 'END{print "总计"NR"行"}' test   ##行后输出
总计5行
[root@proxy mnt]# awk -F: 'BEGIN{print "USER\tUID\tHome"}{print $1"\t"$3"\t"$6}END{print "总计"NR"行"}' test
USER       UID     Home
root           0        /root
bin             1        /bin
daemon     2       /sbin
adm           3       /var/adm
lp               4       /var/spool/lpd
总计5行                                                        ##组合打印列表


条件的表达形式:

  • 正则设置条件
 
符号 含义
/ / 一般写在{}前,匹配正则表达式
~  包含
!~  不包含  
[root@proxy mnt]# awk  '/root/{print}' test  ##如果print后不跟内置变量,可以省略
root:x:0:0:root:/root:/bin/bash
[root@proxy mnt]# awk  '/root/' test   ##效果同上
root:x:0:0:root:/root:/bin/bash
[root@proxy mnt]# awk  '/root|bin/' test   ##列出有root或者有bin的行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@proxy mnt]# awk  '/^root|^bin/' test  ##列出以root开头或者以bin开头的行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
[root@proxy mnt]# awk -F: '$6~/root/' test  ##列出第6列包含root的行
root:x:0:0:root:/root:/bin/bash
[root@proxy mnt]# awk -F: '$1~/root/' test  ##列出第1列包含root的行
root:x:0:0:root:/root:/bin/bash
[root@proxy mnt]# awk -F: '$1!~/root/' test  ##列出第1列不包含root的行
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 

  • 数值/字符串比较
比较符号 :   含义
== 等于
!= 不等于
>  大于
>=   大于等于
<  小于
<=  小于等于
[root@proxy mnt]# awk 'NR==2' test  ##列出第2行
bin:x:1:1:bin:/bin:/sbin/nologin
[root@proxy mnt]# awk -F: '$1=="root"' test  ##列出第1列必须是root的行
root:x:0:0:root:/root:/bin/bash
[root@proxy mnt]# awk -F: '$1~/root/' test   ##列出第1列包含root的行,范围广
root:x:0:0:root:/root:/bin/bash
[root@proxy mnt]# awk -F: '$1!="root"' test  ##列出第1列不是root的行
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@proxy mnt]# awk 'NR>2' test     ##列出大于2的行
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@proxy mnt]# awk 'NR<=2' test    ####列出小于等于2的行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
[root@proxy mnt]# awk -F: '$3<=10' /etc/passwd  ##列出UID<=10的行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

  •  逻辑比较
  1. 条件  :  &&  并且  期望多个条件都成立 
  2. 条件  :  ||     或者  只要有一个条件成立即满足要求
[root@proxy mnt]# awk -F: 'NR>=1&&NR<=3' test  ##列出1-3行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@proxy mnt]# awk -F: '$3<=5||$3>=1000' /etc/passwd  
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
nginx:x:1000:1000::/home/nginx:/sbin/nologin
lisi:x:1001:1001::/home/lisi:/bin/bash
haha:x:1002:1002::/home/haha:/bin/bash
zhang:x:1003:1003::/home/zhang:/bin/bash
kaka:x:1004:1004::/home/kaka:/bin/bash
tian:x:1005:1005::/home/tian:/bin/bash
titi:x:1008:1008::/home/titi:/bin/bash    ##列出UID小于等于5或者大于等于1000 
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
[root@proxy mnt]# awk -F: '$3<10||$3>1000' /etc/passwd  ##列出UID小于5或者大于1000
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
lisi:x:1001:1001::/home/lisi:/bin/bash
haha:x:1002:1002::/home/haha:/bin/bash
zhang:x:1003:1003::/home/zhang:/bin/bash
kaka:x:1004:1004::/home/kaka:/bin/bash
tian:x:1005:1005::/home/tian:/bin/bash
titi:x:1008:1008::/home/titi:/bin/bash  
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
[root@proxy mnt]# awk -F: '$3<10&&$3>1000' /etc/passwd  ##逻辑错误

列出/etc/hosts/ 文件内以192开头或者以127开头的记录

[root@proxy mnt]# cat /etc/hosts
# ::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1    localhost localhost.localdomain localhost4 localhost4.localdomain4 
192.168.4.207  www.a.com  
192.168.4.208  www.b.com
[root@proxy mnt]# awk -F. '$1==127||$1==192' /etc/hosts
127.0.0.1    localhost localhost.localdomain localhost4 localhost4.localdomain4 
192.168.4.207  www.a.com  
192.168.4.208  www.b.com


  • 运算符
运算符 作用
+ 加法运算
- 减法运算
* 乘法运算
/ 除法运算
% 取余运算
++ 自增1
-- 自减1
-= 减法运算
*= 乘法运算
/= 除法运算
%= 取余运算

 

[root@proxy mnt]# awk 'BEGIN{print 1+1}'  ##加法运算
2
[root@proxy mnt]# awk 'BEGIN{print 1-1}'  ##减法运算
0
[root@proxy mnt]# awk 'BEGIN{print 1*1}'  ##乘法运算
1
[root@proxy mnt]# awk 'BEGIN{print 2/2}'  ##除法运算
1
[root@proxy mnt]# awk 'BEGIN{print 2%2}'  ##取余运算
0
[root@proxy mnt]# awk 'BEGIN{a=10;print a}'  ##定义变量,输出变量
10
[root@proxy mnt]# awk 'BEGIN{a=10;a++;print a}'  ##定义变量,运算变量,输出变量
11
[root@proxy mnt]# awk 'BEGIN{a=10;a++;print a+=10}'  ##定义变量,运算变量,输出变量
21
[root@proxy mnt]# awk 'BEGIN{a=10;print a%=7}'   ##取余运算
3

列出100以内整数中7的倍数或是含7的数

思路:

  • 1. seq 100    ##输出1-100的数字
  • 2. seq 100 |  awk '$1~/7/'     ##输出1-100数字之内包含7的数字
  • 3.seq 100 | awk '$1%7==0'   ##输出1-100数字之内7的倍数 
[root@proxy mnt]# seq 100 | awk '$1%7==0||$1~/7/'
7
14
17
21
27
28
35
37
42
47
49
56
57
63
67
70
71
72
73
74
75
76
77
78
79
84
87
91
97
98

awk综合脚本示例

  • 编写脚本的任务要求如下:
  • 找到使用bash作登录Shell的本地用户
  • 列出这些用户的shadow密码记录,如图所示

[root@proxy mnt]# vim test08.sh
#!/bin/bash
#这是一个显示能登录shell环境的用户跟用户密码信息的测试脚本
user=`awk -F: '/bash$/{print $1}'  /etc/passwd`
for i in $user
do
    grep $i /etc/shadow | awk -F: '{print $1"--->"$2}'
done
[root@proxy mnt]# bash test08.sh  ##效果如图所示

awk高级应用

awk流程控制

分支结构:

  • 单分支

if(条件){编辑指令}

  • 双分支

if(条件){编辑指令1}else{编辑指令2}

  • 多分支

if(条件){编辑指令1}else if(条件){编辑指令2}...else{编辑指令N}

单分支练习

统计/etc/passwd文件中UID小于或等于1000的用户个数:
[root@proxy mnt]# awk -F: '{if($3<=1000){i++}}END{print i}' /etc/passwd  
24
统计/etc/passwd文件中UID大于1000的用户个数:
[root@proxy mnt]# awk -F: '{if($3>1000){i++}}END{print i}' /etc/passwd
7
统计/etc/passwd文件中登录Shell是“/bin/bash”的用户个数:
[root@proxy ~]# awk -F: '{if($7~/bash$/){i++}}END{print i}'  /etc/passwd
7
[root@proxy mnt]# cat test   ##以test作为素材
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@proxy mnt]# awk -F: '{if($3==0){print}}'  test  ##打印UID为0的行
root:x:0:0:root:/root:/bin/bash

双分支练习

分别统计/etc/passwd文件中UID小于或等于1000、UID大于1000的用户个数:
[root@proxy ~]# awk -F: '{if($3>=1000){x++}else{y++}}END{print x,y}' /etc/passwd
8 23
分别统计/etc/passwd文件中登录Shell是“/bin/bash”、 登录Shell不是“/bin/bash”的用户个数:
[root@proxy ~]# awk -F: '{if($7~/bash$/){i++}else{j++}} END{print i,j}' /etc/passwd
7 24

多分支练习

列出UID小于等于10或者大于1000的数量,并统计总数:
[root@proxy ~]# awk -F: 'BEGIN{x=0;y=0;z=0}{if($3<=10){x++}else if($3>1000){y++}else{z++}}END{print x,y,z}' /etc/passwd
9 7 15
加上常量显示:
[root@proxy ~]# awk -F: 'BEGIN{x=0;y=0;z=0}{if($3<=10){x++}else if($3>1000){y++}else{z++}}END{print "UID小于10的数量是"x,"UID大于10的数量是"y,"两者总数是"z}' /etc/passwd
UID小于10的数量是9 UID大于10的数量是7 两者总数是15

awk数组

数组的语法格式:

数组是一个可以存储多个值的变量,具体使用的格式如下:

  • 定义数组的格式:数组名[下标]=元素值
  • 下标可以是数字或者字母或者变量
  • 调用数组的格式:数组名[下标]
  • 遍历数组的用法:for(变量 in 数组名){print 数组名[变量]}。
  • 定义数组后配合for循环可以方便的查看数组所有内容,次过程成为遍历数组
    下标和值可以不用数字

定义数组a自增1,输出结果:
[root@svr5 ~]# awk 'BEGIN{a[0]++;print a[0]}'
1
定义数组a,for循环数组a,由于数组a只有三个下标所以循环3次并输出下标及对应下标的值:
[root@svr5 ~]# awk 'BEGIN{a[0]=0;a[1]=11;a[2]=22; for(i in a){print i,a[i]}}'
0 0
1 11
2 22
定义数组a,下标分别是1和2,然后输出该数组对应下标的值:
[root@proxy ~]# awk 'BEGIN{a[1]=100;a[2]=200;print a[1],a[2]}'
100 200
调用数组的顺序:
[root@proxy ~]# awk 'BEGIN{a[1]=100;a[2]=200;print a[2],a[1]}'
200 100
对定义好的数组做运算:
[root@proxy ~]# awk 'BEGIN{a[1]=100;a[1]++;print a[1]}'
101
定义数组a,for循环遍历数组下标:
[root@proxy ~]# awk 'BEGIN{a[1]=100;a[2]=200;for(i in a){print i}}'
1
2
定义数组a,for循环遍历数组a:
[root@proxy ~]# awk 'BEGIN{a[1]=100;a[2]=200;for(i in a){print i,a[i]}}'
1 100
2 200
定义数组的下标为字母a,需要用""引起来
[root@proxy mnt]# awk 'BEGIN{a["a"]="abc";print a["a"]}'
abc
[root@proxy mnt]# cat abc   以abc作为素材
abc
abc
xyz
opq
xyz
abc
在逐行任务中定义数组a++,for循环遍历数组a,显示下标:
[root@proxy mnt]# awk '{a[$1]++}END{for(i in a){print i}}' abc
opq
abc
xyz
逐行任务,相当于收集数据,然后在END任务中用for循环查看数组的所有内容:
[root@proxy mnt]# awk '{a[$1]++}END{for(i in a){print i,a[i]}}' abc
opq 1
abc 3
xyz 2

以上结果解析:
abc (定义ABC下标)  a[abc]=1  (统计次数为1次) 
abc (已有ABC下标)  a[abc]=2  (统计次数为2次)
xyz (定义xyz下标)  a[xyz]=1  (统计次数为1次)
opt (定义opt下标)  a[opt]=1  (统计次数为1次)
abc (已有ABC下标)  a[abc]=3  (统计次数为3次)
xyz (已有xyz下标)  a[xyz]=2  (统计次数为2次)
abc下标的总数为3次
xyz下标的总数为2次
opt下标的总数为1次

[root@proxy mnt]# cat abc  以abc为素材
abc 192.168.0.1
abc 192.168.0.1
xyz 192.168.0.2
opq 192.168.0.3
xyz 192.168.0.2
abc 192.168.0.1
[root@proxy mnt]# awk '{ip[$2]++}END{for(i in ip){print i}}' abc
192.168.0.1
192.168.0.2
192.168.0.3
[root@proxy mnt]# awk '{ip[$2]++}END{for(i in ip){print i,ip[i]}}' abc
192.168.0.1 3
192.168.0.2 2
192.168.0.3 1

结果解析:
abc 192.168.0.1 (定义192.168.0.1为下标)  a[192.168.0.1]=1  (统计次数为1次) 
abc 192.168.0.1 (已有192.168.0.1下标)    a[192.168.0.1]=2  (统计次数为2次)
xyz 192.168.0.2 (定义192.168.0.2为下标)  a[192.168.0.2]=1  (统计次数为1次)
opt 192.168.0.3 (定义192.168.0.3为下标)  a[192.168.0.3]=1  (统计次数为1次)
abc 192.168.0.1 (已有192.168.0.1下标)    a[192.168.0.2]=2  (统计次数为3次)
xyz 192.168.0.2 (已有192.168.0.2下标)    a[192.168.0.1]=3  (统计次数为2次)
192.168.0.1下标的总数为3次
192.168.0.2下标的总数为2次
192.168.0.3下标的总数为1次

利用sort对提取结果排序

sort 命令: 将文本文件内容加以排序,sort可针对文本文件的内容,以行为单位来排序。

  •  -b   忽略每行前面开始出的空格字符。
  •  -c   检查文件是否已经按照顺序排序。
  •  -d   排序时,处理英文字母、数字及空格字符外,忽略其他的字符。
  •  -f    排序时,将小写字母视为大写字母。
  •  -i    排序时,除了040至176之间的ASCII字符外,忽略其他的字符。
  •  -k    针对指定的列进行排序
  •  -m    将几个排序好的文件进行合并。
  •  -M   将前面3个字母依照月份的缩写进行排序。
  •  -n   依照数值的大小排序。是以数字形式排序
  •  -o  <输出文件>   将排序后的结果存入指定的文件。
  •  -r   以相反的顺序来排序。是降序
  •  -t  <分隔字符>   指定排序时所用的栏位分隔字符。

awk扩展应用

使用awk统计Web访问排名:

在分析Web日志文件时,每条访问记录的第一列就是客户机的IP地址,其中会有很多重复的IP地址。因此只用awk提取出这一列是不够的,还需要统计重复记录的数量并且进行排序。

通过awk提取信息时,利用IP地址作为数组下标,每遇到一个重复值就将此数组元素递增1,最终就获得了这个IP地址出现的次数。

下面以proxy虚拟机作为web服务端:由另外2台虚拟机作为测试机
[root@proxy ~]# rpm -q httpd
httpd-2.4.6-80.el7.centos.x86_64
[root@proxy ~]# systemctl restart httpd
[root@proxy ~]# ss -nutlp |grep :80
tcp    LISTEN     0      128       *:80                    *:*                   users:(("httpd",pid=1037,fd=3),("httpd",pid=1036,fd=3),("httpd",pid=1035,fd=3),("httpd",pid=1034,fd=3),("httpd",pid=1033,fd=3),("httpd",pid=1032,fd=3))
[root@proxy ~]# cd /var/log/httpd
[root@proxy httpd]# ls  ##httpd服务的访问日志
access_log  error_log
利用真机,其他虚拟机进行访问
[root@proxy ~]# curl localhost
[root@proxy ~]# curl 192.168.4.5
[root@proxy2 ~]# curl 192.168.4.5
[root@proxy2 ~]# curl 192.168.4.5
[root@proxy3 ~]# for i in {1..20}
> do
> curl 192.168.4.5
> done
查看网站的被访问次数,与对应的IP地址,然后降序排列:
[root@proxy httpd]# awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' /var/log/httpd/access_log | sort -nr
1 127.0.0.1
2 192.168.4.6
20 192.168.4.7

编写监控脚本

本案例要求编写脚本,实现计算机各个性能数据监控的功能,具体监控项目要求如下:
1.CPU负载
2.网卡流量
3.内存剩余容量
4.磁盘剩余容量
5.计算机账户数量
6.当前登录账户数量
7.计算机当前开启的进程数量
8.本机已安装的软件包数量

 1.查看性能数据的命令

  • 1.CPU负载 : [root@proxy ~]# uptime   
  • 2.网卡流量 : [root@proxy ~]# ifconfig eth0 
  • 3.内存剩余容量 :  [root@proxy ~]# free    
  • 4.磁盘剩余容量 :  [root@proxy ~]# df     
  • 5.计算机账户数量 : [root@proxy ~]# wc -l /etc/passwd
  • 6.当前登录账户数量 : [root@proxy ~]# who |wc -l 
  • 7.计算机当前开启的进程数量 : [root@proxy ~]# ps aux | wc -l 
  • 8.本机已安装的软件包数量 : [root@proxy ~]# rpm -qa |wc -l   

2.用awk进行处理1-5

  • 1.[root@proxy mnt]# uptime | awk '{print "CPU的平均负载是"$8 $9 $10}'  ##列数请参照实际情况,此为案例
  • 2.[root@proxy mnt]#  ifconfig eth0 |awk -F[\(\)] '/RX p/{print "eth0的接收流量是"$2}'
  • 2.[root@proxy mnt]# ifconfig eth0 |awk -F[\(\)] '/TX p/{print "eth0的接收流量是"$2}'
  • 3.[root@proxy mnt]#  free -m | awk '/Mem:/{print "当前主机剩余内存空间"$4"MB"}'
  • 4.[root@proxy mnt]#  df -h |awk '/\/$/{print "主机根分区剩余空间是"$4}'
  • 5.[root@proxy mnt]#  awk 'END{print "本机账户数量是"NR"个"}' /etc/passwd |wc -l

3.编写监控脚本

[root@proxy mnt]# vim test09.sh 
#!/bin/bash
#这是一个简单的监控测试脚本
while :
do
uptime | awk '{print "CPU的平均负载是"$8 $9 $10}'
ifconfig eth0 |awk -F[\(\)] '/RX p/{print "eth0的接收流量是"$2}'
ifconfig eth0 |awk -F[\(\)] '/TX p/{print "eth0的发送流量是"$2}'
free -m | awk '/Mem:/{print "当前主机剩余内存空间"$4"m"}'
df -h |awk '/\/$/{print "主机根分区剩余空间是"$4}'
awk  'END{print "本机账户数量是"NR"个"}' /etc/passwd
u=`who | wc -l`
 echo "主机账户数量是$u个"
p=`ps aux | wc -l`
 echo "当前主机开启的进程数量是$p个"
r=`rpm -qa | wc -l`
echo "当前主机已安装的软件包的数量是$r个"
sleep 3
clear  ##清屏,效果跟Ctrl+l相同
done
[root@proxy mnt]# bash test09.sh 
CPU的平均负载是0.14,0.05,0.05
eth0的接收流量是947.0 KiB
eth0的发送流量是922.1 KiB
当前主机剩余内存空间1184m
主机根分区剩余空间是29G
当前主机用户数量是31个
当前主机登录账户数量是2个
当前主机开启的进程数量是93个
当前主机已安装的软件包的数量是440个

编写安全检测脚本

防止远程ssh暴力破解密码,具体监控项目要求如下:

  • 检测ssh登录日志,如果远程登陆账号名错误3次,则屏蔽远程主机的IP
  • 检测ssh登录日志,如果远程登陆密码错误3次,则屏蔽远程主机的IP

1.过滤帐户名失败的命令(登陆日志文件为/var/log/secure)

  • [root@proxy mnt]# awk '/Invalid user/{print $11}' /var/log/secure   ##列出登录失败的账号
  • [root@proxy mnt]# awk '/Invalid user/{ip[$11]++}END{for(i in ip){print ip[i],i}}' /var/log/secure  ##统计次数

2. 过滤密码失败的命令

  • [root@proxy mnt]# awk '/Failed/{print $11}' /var/log/secure  ##列出密码登录失败的账号
  • [root@proxy mnt]# awk '/Failed/{ip[$11]++}END{for(i in ip){print ip[i],i}}' /var/log/secure ##统计次数

3.编写安全检测脚本

[root@proxy mnt]# vim a.sh 
#!/bin/bash
#这是一个简单的安全检测脚本
p=`awk '/Failed/{ip[$11]++}END{for(i in ip){print ip[i],i}}' /var/log/secure |awk '$1>3{print $2}'`
[ -z "$p" ] || echo "有人尝试登录服务器!!!!相关信息是$p" | mail -s test root

 

兜里有糖tian~ 发布了11 篇原创文章 · 获赞 10 · 访问量 2005 私信 关注
来源:https://blog.csdn.net/weixin_45971087/article/details/103886496
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

鲜花

握手

雷人

路过

鸡蛋

最新评论

QQ|Archiver|手机版|小黑屋|南华中天社区 ( 粤ICP备11019662号 )

GMT+8, 2020-8-5 22:01 , Processed in 0.039221 second(s), 15 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部