python又一力作,感受python的强大。用70行代码实现日志分析程序
功能介绍:可直接对文本日至进行分组和排序功能,完了输出结果粘贴到excel里就可以直接生成图表,对于排查一些生产环境问题有很大的作用。
代码:
#encoding=utf-8 from optparse import OptionParser import re def get_args(): def get_parser(): usage = u"""%prog -f filename -r rule [-d] [-c] 用途:对文本文件按照指定模式进行分组并排序,主要分析文本日志用 注意:如果正则表达式里有分组,则提取第一分组, 如果不希望这样,请使用正则的无捕获分组(?:) 示例:统计日志里每分钟的日志量,默认按时间正序排列 python group.py -f log.txt -r "\d\d\d\d\-\d\d\-\d\d \d\d:\d\d" 统计日志里每个ip出现的次数,并按出现次数倒序排列 python group.py -f input.txt -r "\d+\.\d+.\d+.\d+" -c -d""" return OptionParser(usage) def add_option(parser): parser.add_option("-f", "--file", dest="filename", help=u"需要分组的文本文件", metavar="FILE") parser.add_option("-r", "--rule", dest="rule", help=u"分组的正则表达式", metavar="REGEX") parser.add_option("-d", action="store_true", dest="reverse", default=False, help=u"反序排列") parser.add_option("-c", action="store_true", dest="orderbycount", default=False, help=u"按数量排序,默认按匹配字符串排序") def get_options(parser): options, args = parser.parse_args() if not options.filename: parser.error('没有指定文件名') if not options.rule: parser.error('没有指定分组规则') return options parser = get_parser() add_option(parser) return get_options(parser) options = get_args() filename = options.filename rule = options.rule reverse = options.reverse orderbycount = options.orderbycount regex = re.compile(rule, re.IGNORECASE) keys = {} def counter_key(key): keys.setdefault(key, 0) keys[key] += 1 def print_keys(): sort_key = (lambda d:d[1]) if orderbycount else (lambda d:d[0]) temp_items = sorted(keys.items(), key=sort_key, reverse=reverse) for item in temp_items: key = item[0] print key, keys[key] def get_key(line): m = regex.search(line) if m: return m.group() if regex.groups == 0 else m.group(1) return '!NotMatch!' with open(filename) as f: for line in f: key = get_key(line) counter_key(key) print_keys()