shell脚本分析日志

2023年5月30日 175次阅读 来源: 迈阿密小白

需求

临时接到一个需求，需要帮忙check一下线上新老用户区分是否正确。
新老用户确认的方法：
老用户（注册4天以外）， 新用户（注册4天以内）
也就是说，需要check日志中请求的时间点和注册的时间戳，相差是不是超过4天或者小于4天
日志大致如下：

2018-12-28/15:30:57 [strategy.go::xxxx.com/xxx/xxx/xxx.(*Strategy).FindStrategy] [INF] 222222222222222222:new_user_xxx_xxx_xxx, a97774397e994a4d, {"uid":"72666259","device_code":"A000007527957C","page":1,"count":3},1545982248

改掉了一些日志中的敏感信息

思路

  • 利用grep 筛选 new_user/old_user，并将这一行日志，重定向到新的文件中
  • 读取文件，分别提取前面的请求时间，并转化为时间戳，与这一行日志最后的时间戳对比

所以有了大致结构：

  • 1.利用grep awk 缩小日志
  • 2.> 将日志重定向到文本文件中
  • 3.利用while 循环读取文件
  • 4.字符串截取前面的时间，并转换为时间戳
  • 5.字符串截取最后的时间戳
  • 6.对比两个时间戳的间隔时间

脚本解析

按照上面的思路，最终脚本如下：

grep new_user /logs/engine_info.log |awk -F',' '{print $1,$3}'  >new_user.txt
sleep 1

while read line;
do
a=${line:0:19}
#注册时间戳
timestamp=${line:0-10}
#请求时间戳
actualtime=${a/\// }
time=`date -d "$actualtime" +%s`
a=$((timestamp+345600))
#[ $time -gt $a ];echo $?
if [ $time -gt $a ];
then 
echo "error"
echo $line
fi;
done <new_user.txt

第一行，结合grep和awk、重定向，将日志输出到new_user.txt中

读取文件

a=${line:0:19}

这边是截取前面19个字符，即

2018-12-28/15:30:57

由于这个格式无法转换为时间戳，所以还需要将中间的 / 替换为空格

actualtime=${a/\// }  ----结果 2018-12-28 15:30:57

然后转换为时间戳

date -d "$actualtime" +%s  ------结果 1545961368

注册时间戳是日志的最后10位，再次进行截取

timestamp=${line:0-10}  ----结果是1545982248

下面只对比二者之间的差距，以新用户为例，是期望注册时间是4天以内的，即时间戳相差 345600
期望请求的时间戳，比注册时间+345600 的结果要小，如果请求的时间戳比它大，那么就是错误的情况，最终逻辑如下：

a=$((timestamp+345600))
if [ $time -gt $a ];
then 
echo "error"
echo $line
fi;
done <new_user.txt

以上，所有为一次简单的日志分析实践。

    原文作者：迈阿密小白
    原文地址: https://www.jianshu.com/p/743bf7c76f42
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞