前言
本文介绍的是利用Python实现的一个小工具,用于分析Git commit log,获得Git Project每个成员的简单行为数据。
Warning:代码量不能代表程序员能力水平!
启动参数
共5个。
exec_git
Git Log命令:
git -C {} log --since={} --until={} --pretty=tformat:%ae --shortstat --no-merges -- {} > {}
填入参数,调用系统命令'os.system()',输出结果至本地临时文件。读取至内存,简单的String Array。
parse
Git Log输出有3种格式,对应3种正则表达式。
REPATTERN_FULL = r"\s(\d+)\D+(\d+)\D+(\d+)\D+\n" REPATTERN_INSERT_ONLY = r"\s(\d+)\D+(\d+)\sinsertion\D+\n" REPATTERN_DELETE_ONLY = r"\s(\d+)\D+(\d+)\sdeletion\D+\n"
遍历得到的数据,首先构造一个以Author为Key,分析结果为Value的字典。
分析结果构造一个元祖,包括:
save_csv
简单省略。
示例代码:
#!/usr/local/bin/python3 # -*- coding: utf-8 -*- '''Analyse git branch commit log, for every version, every person.''' import os import sys import re import csv GIT_LOG = r'git -C {} log --since={} --until={} --pretty=tformat:%ae --shortstat --no-merges -- {} > {}' REPATTERN_FULL = r"\s(\d+)\D+(\d+)\D+(\d+)\D+\n" REPATTERN_INSERT_ONLY = r"\s(\d+)\D+(\d+)\sinsertion\D+\n" REPATTERN_DELETE_ONLY = r"\s(\d+)\D+(\d+)\sdeletion\D+\n" CSV_FILE_HEADER = ["Author", "Commit", "Insert", "Delete", "Loc"] def exec_git(repo, since, until, subdir): '''Execute git log commant, return string array.''' logfile = os.path.join(os.getcwd(), 'gitstats.txt') git_log_command = GIT_LOG.format(repo, since, until, subdir, logfile) os.system(git_log_command) lines = None with open(logfile, 'r', encoding='utf-8') as logfilehandler: lines = logfilehandler.readlines() return lines def save_csv(stats, csvfile): '''save stats data to csv file.''' with open(csvfile, 'w', encoding='utf-8') as csvfilehandler: writer = csv.writer(csvfilehandler) writer.writerow(CSV_FILE_HEADER) for author, stat in stats.items(): writer.writerow([author, stat[0], stat[1], stat[2], stat[3]]) def parse(lines): '''Analyse git log and sort to csv file.''' prog_full = re.compile(REPATTERN_FULL) prog_insert_only = re.compile(REPATTERN_INSERT_ONLY) prog_delete_only = re.compile(REPATTERN_DELETE_ONLY) stats = {} for i in range(0, len(lines), 3): author = lines[i] #empty = lines[i+1] info = lines[i+2] #change = 0 insert, delete = int(0), int(0) result = prog_full.search(info) if result: #change = result[0] insert = int(result.group(2)) delete = int(result.group(3)) else: result = prog_insert_only.search(info) if result: #change = result[0] insert = int(result.group(2)) delete = int(0) else: result = prog_delete_only.search(info) if result: #change = result[0] insert = int(0) delete = int(result.group(2)) else: print('Regular expression fail!') return loc = insert - delete stat = stats.get(author) if stat is None: stats[author] = [1, insert, delete, loc] else: stat[0] += 1 stat[1] += insert stat[2] += delete stat[3] += loc return stats if __name__ == "__main__": print('gitstats begin') if len(sys.argv) != 6: print('Invalid argv parameters.') exit(0) REPO = os.path.join(os.getcwd(), sys.argv[1]) SINCE = sys.argv[2] UNTIL = sys.argv[3] SUB_DIR = sys.argv[4] CSV_FILE = os.path.join(os.getcwd(), sys.argv[5]) LINES = exec_git(REPO, SINCE, UNTIL, SUB_DIR) assert LINES is not None STATS = parse(LINES) save_csv(STATS, CSV_FILE) print('gitstats done')
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对小牛知识库的支持。
本文向大家介绍python实时分析日志的一个小脚本分享,包括了python实时分析日志的一个小脚本分享的使用技巧和注意事项,需要的朋友参考一下 前言 大家都知道Web运维总要关注相关域名的实时2xx/s、4xx/s、5xx/s、响应时间、带宽等这些指标,之前的日志是五分钟一分割,简单的用awk就可以了,现在由于要推送日志到ELK,继续之前五分钟一分割会有问题,就改为一天分割一次。改成一天一分割后,
本文向大家介绍python实现的分析并统计nginx日志数据功能示例,包括了python实现的分析并统计nginx日志数据功能示例的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了python实现的分析并统计nginx日志数据功能。分享给大家供大家参考,具体如下: 利用python脚本分析nginx日志内容,默认统计ip、访问url、状态,可以通过修改脚本统计分析其他字段。 一、脚本运行方式
本文向大家介绍Node.js和MongoDB实现简单日志分析系统,包括了Node.js和MongoDB实现简单日志分析系统的使用技巧和注意事项,需要的朋友参考一下 在最近的项目中,为了便于分析把项目的日志都存成了JSON格式。之前日志直接存在了文件中,而MongoDB适时闯入了我的视线,于是就把log存进了MongoDB中。log只存起来是没有意义的,最关键的是要从日志中发现业务的趋势、系统的性能
本文向大家介绍python+pandas分析nginx日志的实例,包括了python+pandas分析nginx日志的实例的使用技巧和注意事项,需要的朋友参考一下 需求 通过分析nginx访问日志,获取每个接口响应时间最大值、最小值、平均值及访问量。 实现原理 将nginx日志uriuriupstream_response_time字段存放到pandas的dataframe中,然后通过分组、数据统
日志是非常重要的系统文件,管理员每天的重要工作就是分析和查看服务器的日志,判断服务器的健康状态。但是日志管理又是一项非常枯燥的工作,如果需要管理员手工查看服务器上所有的日志,那实在是一项非常痛苦的工作。有些管理员就会偷懒,省略日志的检测工作,但是这样做非常容易导致服务器出现问题。 那么我们有取代的方案吗?有,那就是日志分析工具。这些日志分析工具会详细地查看日志,同时分析这些日志,并且把分析的结果通
1. 介绍 本篇会介绍三个关于分析nginx日志信息的工具。 2. nginx_log_analysis 这个工具是由一位叫LEO的网友提供的,它的博客是http://linux5588.blog.51cto.com/,它是用python语言写的,只是用来分析nginx日志,它的输出比较简单,以IP为主,可以查看每个IP的访问的流量,次数,占比等信息。 先获取这个python文件。 # 下载 $