读shell scripts的总结

今天读程序,遇到一些sed命令和awk命令不太明白,于是去认真查了查,搞清楚并且总结于此。

mnt=$(readlink -f $(grep -P "_dbdir_.*_nodeid_" some.conf | sed "s#.*_dbdir_\(.*\)_nodeid_#$dbdir\1$nd#")|sed 's#/HAS[0-9]*/\([a-zA-Z0-9_-]*\)#\1#')
好长,打字都好累,这么多符号,当初谁写的啊= =

又遇到一个比较难的sed命令行,简直醉了。
sed -n '/^\['$nd_str'\]/,/^\[/{s/ *'DBDir'[ ]*= *\(.*\)[ ]*$/\1/p;}' kernelite.ini

  1. readlink命令
    readlink是用来找出符号链接指向的位置,使用readlink --help to print value of symbolic link or canonical name
    -f 参数是 递归跟随给出文件名的所有符号链接以标准化
  2. grep -P -o -c命令
    -P, –perl-regexp: Interpret PATTERN as a Perl regular expression.
    -o, –only-matching: Show only the part of a matching line that matches PATTERN.
    -c,只输出匹配行的计数
    -s ,不显示不存在或无匹配文本的错误信息。
    -q: 静默模式, 不输出任何结果
    -w: does a word search 全字匹配
  3. ps命令
    显示当前进程的状态
    -e-A,显示所有进程
    -o 表示自定义显示
    -C<命令> 列出指定命令的状况
    pid=$(ps -e -o pid,args | awk '/'$SysGov'$/{print $1}')
  4. xargs
    将前一个命令的输出作为参数
    ps -e -o pid,args | egrep "$SysGov$|$SysGov .*ini$" |cut -c1-5 | xargs kill -9 2>/dev/null
    另外一个例子
    file -Lz *|grep ASCII |cut -d":" -f1 | xargs ls -ltr
  5. killall命令
    killall命令用于杀死指定名字的进程,kill是杀死指定PID的进程,但是在这之前要使用ps等命令再grep来查找进程
    ssh $i "killall -9 $UBSH 2>/dev/null
  6. scp命令
    -p 保留原文件的修改时间以及权限
    -q 不显示传输进度条
    scp -qp $srcdir/SysGovernor $SysGov
  7. ln命令
    -f 强制执行
    -s 软连接,符号链接
    第一个是源文件,第二个是目标文件,硬链接是一个档案可以有多个名称,软链接是一个特殊的档案指向另外一个档案的位置。
    ln -fs $UBClient UBClient
  8. sed命令
    sed是在线编辑器,一次处理一行内容,处理的时候把当前的行存储在临时缓冲区中,sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
    sed 1d删除第一行
    \(..\):保存括号内匹配的字符,在上面的匹配中,括号中一般匹配到的是/
    sed 's/test/mytest/g example 将整行范围内进行替换,没有g标记,每行直邮第一个匹配的test被替换
    sed 's/\(love\)able/\1rs/p' examplelove被标记为 1,然后进行替换成lovers
    sed 's#19#100#g' example不论什么字符,紧跟着s命令的都被认为是新的分隔符,#代替了/作为分隔符
    *表示匹配0个或者多个字符
    .表示匹配一个非换行符的字符
    sed -n 取消默认输出,等同于--quiet, --silent
    sed -n '/test/,/check/p' example所有在test和check所确定的范围内的行都将被打印,主要是有p选项
    sed '/test/,/check/s/$/sed test/' example 对于模版test和check之间的行,每行的末尾都用sed test进行替换。上面的程序就是如此,只不过后面的替换s命令太长,所以就使用了{},然后里面命令后面要加分号,也就是对于每一个node的信息段,将DBDir的路径打印出来,注意-n选项的使用,以及p选项的使用。
  9. awk命令
    awk同样也是行处理器,在与屏幕处理相比较,处理庞大文件的时候不会出现内存溢出或者处理缓慢,用来格式化文本信息。
    has=$(grep -P "^$mnt\t" $autohas | awk -F '\t|:' '{print $2}' | sort -u)
    awk [-F|-f|-v] 'BEGIN{} //{command1;command2} END{}' file是awk命令形式
    awk -F '\t|:'用于指定分隔符是\t或者:
    -f 参数是调用脚本
    -v 定义变量 var=value
    $0 表示整个当前行
    $1 表示每行的第一个字段
    NF 字段数量变量
    NR 每行的纪录号,多个文件递增
    FNR 每行的记录号
    FS BEGIN定义分隔符
    RS 输入的纪录分隔符,默认是一行一行输入,换行符
    OFS 输出字段分隔符,默认是空格
    ORS 输出的纪录分隔符,默认是换行符
    -F '[:#/]' 定义三个分隔符
    awk -f script.awk file 'BEGIN{FS=":"} {print $1}'
  10. 一些例子
    1)sed与awk
    sed 's/#.*//; s/[:=]/ /g' param.ini|awk '/NodeIP/ {print ++c-1,$2}'|grep -w x139|cut -d' ' -f1
    首先sed执行了替换操作,第一个替换是把#以及后面的内容替换为空,然后是将: =这两个符号替换为空白字符串,接下来寻找有NodeIP的一行,打印c以及第二个字段,c默认初始值为0,也就是nodes的序号,然后执行精确匹配grep -w匹配出需要的nodes的行,然后获取其序号。
    2). pgrep以及awk
    ki=$(pgrep -lf $SysGov | awk '/-k/{print $NF}')
    pgrep查看进程的消息,通过进程名字来查询进程,判断程序是否在运行
    -l 表示同时显示进程名和PID
    -f 表示全部命令行,包括命令执行参数
    /-k/{print $NF} 表示匹配-k,然后NDF表示字段数量,也就是说打印出最后一个字段
    3).一个循环处理
i=0
while((i<3));do 
echo $(uptime|cut -d, -f3-|cut -d: -f2)
i=$[ $i + 1 ]
done|awk '{x += $1} END{printf "%.0f\n",x}'```
打印出3次uptime之和,因为END是当程序运行结束后才会运行的。
    原文作者:KevinCool
    原文地址: https://www.jianshu.com/p/d0ede7ef3f6f
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞