前言

在平时的自动化中经常用到一个命令,把本地写的代码上传到服务器上。

命令:scp 本地文件 work@ip:目标路径

Linux命令三剑客

awk:文本处理工具

sed:行编辑器

grep:查找

awk和sed正则匹配都是一样的用法,都是使用 “/正则匹配表达式/”

AWK

1、以冒号分割打印passwd文件中的第三列:awk -F ‘:’ ‘{print $3}’ /etc/passwd

2、以冒号分割打印passwd文件中的第一和三列:awk -F ‘:’ ‘{print $1,$3}’ /etc/passwd

注释:可采用printf函数格式化输出,也可用print拼接字符串输出

3、以冒号分割打印每行的列数及文件名:awk -F ‘:’ ‘{print NR,NF,FILENAME}’ /etc/passwd

Linux命令之三剑客awk、sed、grep

4、以冒号分割打印UID大于100的用户,UID以及行号: awk -F ‘:’ ‘{if ($3>100) print NR,$1,$3}’ /etc/passwd

Linux命令之三剑客awk、sed、grep

以冒号分割打印UID大于100的用户,UID以及行号:awk -F ‘:’ ‘$3>100{print NR,$1,$3}’ /etc/passwd

Linux命令之三剑客awk、sed、grep

5、在服务器的访问日志中找到IP:192.168.1.1的访问

Linux命令之三剑客awk、sed、grep

6、打印以s开头的UID内容:awk -F “:” “$1 /^s/” /etc/passwd

Linux命令之三剑客awk、sed、grep

实战

7、统计当前文件夹下文件的总大小并转换成单位兆:ls -lah |awk ‘BEGIN{count=0}{count+=$5}END{print count/1024/1024″M”}’

Linux命令之三剑客awk、sed、grep

8、统计文件的总行数:awk ‘BEGIN{count=0}{count++}END{print count}’ localhost_access_log.2019-12-03.txt

Linux命令之三剑客awk、sed、grep

9、统计/etc/passwd中UID大于100的用户总数:awk -F ‘:’ ‘$3>100 {print $1}’ /etc/passwd |wc -l

  一、先过滤出UID大于100的用户:awk -F ‘:’ ‘$3>100 {print $1}’

  二、统计一下总数:wc -l

10、在日志文件中统计下访问IP及出现次数:awk ‘{arr[$1]++}END{for (i in arr)print i,arr[i]}’ localhost_access_log.2019-12-03.txt

Linux命令之三剑客awk、sed、grep

sed

1、打印第10行数据:nl passwd |sed -n 10p

Linux命令之三剑客awk、sed、grep

打印1到3行数据:nl passwd |sed -n 1,3p

Linux命令之三剑客awk、sed、grep

2、正则匹配打印含有root的行:nl passwd | sed -n /root/p

Linux命令之三剑客awk、sed、grep

利用正则把IP192.168网段的访问内容打印出来

Linux命令之三剑客awk、sed、grep

3、不要打印行数

Linux命令之三剑客awk、sed、grep

4、输出到屏幕时不打印第2行: nl passwd|sed “2d”

  输入到屏幕时不打印1到15行:nl passwd|sed “1,15d”

输出到屏幕时在第2行后追加bbb:nl passwd|sed “2abbbbbbb”

  在1到5行后都追加bbb: nl passwd|sed “1,5abbbbbbbbbbbbbbbb”

输出到屏幕时在第2行前插入ccc: nl passwd|sed “2icccccccc”

  在1到5行前都插入ccc:nl passwd|sed “1,5icccccccc”

输出到屏幕时把第5行替换成—:nl passwd|sed “5c——“

  把1到15行全部替换成—:nl passwd|sed “1,15c——“

5、sed更改文件内容的两种方式

  一、重定向

  在a.txt文件内容末尾追加:sed -n ‘$a\ yyyyyyyyyyyyyy’ a.txt >> a.txt

  二、-i参数

  在a.txt文件内容的末尾追加:sed -i ‘$a\ wwwwwwwwwwwwwwwwwwww’ a.txt

6、sed替换用法

Linux命令之三剑客awk、sed、grep

7、删除10到20行,并把所有的冒号替换成百分号:nl passwd |sed ‘{10,20d;s/:/%/g}’

Linux命令之三剑客awk、sed、grep

8、步长打印: nl passwd |sed -n ‘{3~3p}’

Linux命令之三剑客awk、sed、grep

9、用户名后边加一个空格

Linux命令之三剑客awk、sed、grep

用户名改为首位字母大写

Linux命令之三剑客awk、sed、grep

10、将后缀为txt的文件名转换为大写字母:ls *.txt |sed ‘s/[a-z_-]\+/\U&/’

Linux命令之三剑客awk、sed、grep

11、提取etc目录下passwd的用户名,UID和GID:sed ‘s/ \(^[a-z_-]\+\) :x: \([0-9]\+\) : \([0-9]\+\) :.*$ /\1,\2,\3/’ passwd

Linux命令之三剑客awk、sed、grep

12、sed -e参数可以执行多个:nl passwd |sed -e ‘10,15d’ -e ‘s/:/%/g’

Linux命令之三剑客awk、sed、grep

面试题:

重命名当前目录下所有a.txt文件名为A.txt

1、find . -name “a.txt” -exec rename a.txt A.txt {} \;

2、find . -name “*a.txt*” |xargs rename a.txt A.txt

修改文件内容中所有wahaha为hanxiaobei

1、查找当前目录下所有文件内容中带有wahaha的文件

Linux命令之三剑客awk、sed、grep

2、修改wahaha为hanxiaobei:sed -i ‘s/wahaha/hanxiaobei/’ `grep wahaha -rl .`

Linux命令之三剑客awk、sed、grep

提取IP地址

Linux命令之三剑客awk、sed、grep

作者 baiwangea

发表评论

您的电子邮箱地址不会被公开。