今天读程序,遇到一些sed命令和awk命令不太明白,于是去认真查了查,搞清楚并且总结于此。
mnt=$(readlink -f $(grep -P "_dbdir_.*_nodeid_" some.conf | sed "s#.*_dbdir_\(.*\)_nodeid_#$dbdir\1$nd#")|sed 's#/HAS[0-9]*/\([a-zA-Z0-9_-]*\)#\1#')
好长,打字都好累,这么多符号,当初谁写的啊= =
又遇到一个比较难的sed命令行,简直醉了。
sed -n '/^\['$nd_str'\]/,/^\[/{s/ *'DBDir'[ ]*= *\(.*\)[ ]*$/\1/p;}' kernelite.ini
- readlink命令
readlink是用来找出符号链接指向的位置,使用readlink --help
to print value of symbolic link or canonical name
-f 参数是 递归跟随给出文件名的所有符号链接以标准化 - grep -P -o -c命令
-P, –perl-regexp: Interpret PATTERN as a Perl regular expression.
-o, –only-matching: Show only the part of a matching line that matches PATTERN.
-c,只输出匹配行的计数
-s ,不显示不存在或无匹配文本的错误信息。
-q: 静默模式, 不输出任何结果
-w: does a word search 全字匹配 - ps命令
显示当前进程的状态
-e
同-A
,显示所有进程
-o
表示自定义显示
-C<命令>
列出指定命令的状况
pid=$(ps -e -o pid,args | awk '/'$SysGov'$/{print $1}')
- xargs
将前一个命令的输出作为参数
ps -e -o pid,args | egrep "$SysGov$|$SysGov .*ini$" |cut -c1-5 | xargs kill -9 2>/dev/null
另外一个例子
file -Lz *|grep ASCII |cut -d":" -f1 | xargs ls -ltr
- killall命令
killall命令用于杀死指定名字的进程,kill是杀死指定PID的进程,但是在这之前要使用ps等命令再grep来查找进程
ssh $i "killall -9 $UBSH 2>/dev/null
- scp命令
-p
保留原文件的修改时间以及权限
-q
不显示传输进度条
scp -qp $srcdir/SysGovernor $SysGov
- ln命令
-f
强制执行
-s
软连接,符号链接
第一个是源文件,第二个是目标文件,硬链接是一个档案可以有多个名称,软链接是一个特殊的档案指向另外一个档案的位置。
ln -fs $UBClient UBClient
- sed命令
sed是在线编辑器,一次处理一行内容,处理的时候把当前的行存储在临时缓冲区中,sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
sed 1d
删除第一行
\(..\)
:保存括号内匹配的字符,在上面的匹配中,括号中一般匹配到的是/
sed 's/test/mytest/g example
将整行范围内进行替换,没有g标记,每行直邮第一个匹配的test被替换
sed 's/\(love\)able/\1rs/p' example
love被标记为 1,然后进行替换成lovers
sed 's#19#100#g' example
不论什么字符,紧跟着s命令的都被认为是新的分隔符,#代替了/作为分隔符
*
表示匹配0个或者多个字符
.
表示匹配一个非换行符的字符
sed -n
取消默认输出,等同于--quiet
,--silent
sed -n '/test/,/check/p' example
所有在test和check所确定的范围内的行都将被打印,主要是有p选项
sed '/test/,/check/s/$/sed test/' example
对于模版test和check之间的行,每行的末尾都用sed test进行替换。上面的程序就是如此,只不过后面的替换s命令太长,所以就使用了{},然后里面命令后面要加分号,也就是对于每一个node的信息段,将DBDir的路径打印出来,注意-n选项的使用,以及p选项的使用。 - awk命令
awk同样也是行处理器,在与屏幕处理相比较,处理庞大文件的时候不会出现内存溢出或者处理缓慢,用来格式化文本信息。
has=$(grep -P "^$mnt\t" $autohas | awk -F '\t|:' '{print $2}' | sort -u)
awk [-F|-f|-v] 'BEGIN{} //{command1;command2} END{}' file
是awk命令形式
awk -F '\t|:'
用于指定分隔符是\t或者:
-f
参数是调用脚本
-v
定义变量 var=value
$0
表示整个当前行
$1
表示每行的第一个字段
NF
字段数量变量
NR
每行的纪录号,多个文件递增
FNR
每行的记录号
FS
BEGIN定义分隔符
RS
输入的纪录分隔符,默认是一行一行输入,换行符
OFS
输出字段分隔符,默认是空格
ORS
输出的纪录分隔符,默认是换行符
-F '[:#/]'
定义三个分隔符
awk -f script.awk file 'BEGIN{FS=":"} {print $1}'
- 一些例子
1)sed与awk
sed 's/#.*//; s/[:=]/ /g' param.ini|awk '/NodeIP/ {print ++c-1,$2}'|grep -w x139|cut -d' ' -f1
首先sed执行了替换操作,第一个替换是把#以及后面的内容替换为空,然后是将: =这两个符号替换为空白字符串,接下来寻找有NodeIP的一行,打印c以及第二个字段,c默认初始值为0,也就是nodes的序号,然后执行精确匹配grep -w匹配出需要的nodes的行,然后获取其序号。
2). pgrep以及awk
ki=$(pgrep -lf $SysGov | awk '/-k/{print $NF}')
pgrep查看进程的消息,通过进程名字来查询进程,判断程序是否在运行
-l
表示同时显示进程名和PID
-f
表示全部命令行,包括命令执行参数
/-k/{print $NF}
表示匹配-k,然后NDF表示字段数量,也就是说打印出最后一个字段
3).一个循环处理
i=0
while((i<3));do
echo $(uptime|cut -d, -f3-|cut -d: -f2)
i=$[ $i + 1 ]
done|awk '{x += $1} END{printf "%.0f\n",x}'```
打印出3次uptime之和,因为END是当程序运行结束后才会运行的。