线上操作与线上问题排查实战

一、了解机器连接数情况

问题:1.2.3.4的sshd的监听端口是22,如何统计1.2.3.4的sshd服务器各种连接状态(TIME_TIME_WAIT/CLOSE_WAIT/ESTESTABLESTABLISHESTABLISHED)连接数。

参考答案:

  • netstat -n | grep 1.2.3.4:22 | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’

  • netstat -lnpta | grep ssh| egrep “TIME_WAIT|CLOSE_WAIT|ESTABLISHED”

说明:netstat是追查网络连接问题的常用工具,结合grep/awk使用。

二、从已经备份好的日志中查询数据

问题:从已备份的log.bz2日志文件中,找出包含关键词1.2.3.4的日志有多少条。

参考答案:

  • bzcat log.bz2 | grep ‘1.2.3.4’ | wc -l

  • bzgrep ‘1.2.3.4’ log.bz2 | wc -l

  • less log.bz2 | grep ‘1.2.3.4’ | wc -l

说明:线上日志文件一般以bz2压缩之后保留。使用bzcat和bzgrep来读取。

三、备份服务的技巧

问题:打包备份/opt/web/www/目录,排除掉目录中的logs目录,打包好的文件存放在/opt/backup目录下。

参考答案:

  • tar -zcvf /opt/backup/log.tar.gz \
    -exclude /opt/web/www/logs /opt/web/www

说明:在项目需要打包迁移时,常常需要排除掉日志目录,exclude是需要掌握的参数。

四、查询线程数

问题:查询服务器运行服务的总线程数,当机器线程数超过阙值时,能够快速查出相关进程及线程信息。

参考答案:

  • ps -eLf | wc -l

  • pstree -p | wc -l

五、磁盘报警,清空最大文件

问题:找出服务器上,某个正在运行的tomcat产生的大量异常日志,找出该文件,并释放空间。

参考答案:
第一步,找到该文件
find / -type f -name “log” | xargs ls -lSh | more
du -a / | sort -rn | grep log | more
find / -name ‘log‘ -size +1000M -exec du -h {} ;

第二步,将文件清空
假设找到的文件为a.log
正确的情况方式应该为:echo “”>a.log,文件空间会立刻释放。
很多同学:rm -rf a.log,这样文件虽然删除,但是因tomcat服务仍在运行,空间不会立刻释放,需要重启tomcat才能将空间释放。

六、显示文件,过滤注释

问题:显示server.conf文件,屏蔽掉#号开头的注释行。

参考答案:

  • sed -n ‘/^[#]/!p’ server.conf

  • sed -e ‘/^#/d’ server.conf

  • grep -v “^#” server.conf

七、磁盘IO异常盘查

问题:磁盘IO异常如何盘查,类似写入慢或当前使用率高,请查出导致磁盘IO异常高的进程IO。

参考答案:

第一步:iotop -o 查看当前正在写磁盘操作的所有进程ID信息。

第二步:如果此时各项写入指标都很低,基本没有大的写入操作,则需要排查磁盘自身。可以查看系统dmesg或cat /var/log/message 看看是否有相关的磁盘异常报错,同时可以在写入慢的磁盘上touch 一个空文件看看,是否磁盘故障导致无法写入。

相关文章:
linux下追查线上问题常用命令
awk指南
sed入门

原文地址

    原文作者:thread
    原文地址: https://segmentfault.com/a/1190000010700185
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞