转载

使用Python解析nginx日志文件

项目的一个需求是解析nginx的日志文件。简单的整理如下:

日志规则描述

首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式:

 log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                    '$status $body_bytes_sent "$http_referer" '                    '"$http_user_agent" "$http_x_forwarded_for"'; 

其中一条真实记录样例如下:

172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0" 

其中,客户端型号信息用 XXXXXXX 代替。

项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下:

ID-ID-YYMMDD-hhmmss 

并且所有的日志文件存放在统一路径下。

解决思路

获取所有日志文件 path

这里使用Python的 glob 模块来获取日志文件path

import glob   def readfile(path):     return glob.glob(path + '*-*-*-*') 

获取日志文件中每一行的内容

使用Python的 linecache 模块来获取文件行的内容

import linecache   def readline(path):     return linecache.getlines(path) 

注意:linecache模块使用了缓存,所以存在以下问题:

  1. 在使用linecache模块读取文件内容以后,如果文件发生了变化,那么需要使用 linecache.updatecache(filename) 来更新缓存,以获取最新变化。

  2. linecache模块使用缓存,所以会耗费内存,耗费量与要解析的文件相关。最好在使用完毕后执行 linecache.clearcache() 清空一下缓存。

当然,作为优化,这里可以利用 生成器 来进行优化。暂且按下不表。

处理日志条目

一条日志信息就是一个特定格式的字符串,因此使用 正则表达式 来解析,这里使用Python的 re 模块。

下面,一条一条建立规则:

规则

 ip = r"?P<ip>[/d.]*"  date = r"?P<date>/d+"  month = r"?P<month>/w+"  year = r"?P<year>/d+"  log_time = r"?P<time>/S+"  method = r"?P<method>/S+"  request = r"?P<request>/S+"  status = r"?P<status>/d+"  bodyBytesSent = r"?P<bodyBytesSent>/d+"  refer = r"""?P<refer>     [^/"]*     """  userAgent=r"""?P<userAgent>     .*       """  

解析

p = re.compile(r"(%s)/ -/ -/ /[(%s)/(%s)/(%s)/:(%s)/ [/S]+/]/ /"(%s)?[/s]?(%s)?.*?/"/ (%s)/ (%s)/ /"(%s)/"/ /"(%s).*?/"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE) m = re.findall(p, logline) 

这样,就可以得到日志条目中各个要素的原始数据。

格式及内容转化

得到日志原始数据之后,需要根据业务要求,对原始数据进行格式及内容转化。这里需要处理的内容包括:时间,request,userAgent

时间格式转化

在日志信息原始数据中存在 Dec 这样的信息,利用Python的 time 模块可以方便的进行解析

import time   def parsetime(date, month, year, log_time):     time_str = '%s%s%s %s' %(year, month, date, log_time)     return time.strptime(time_str, '%Y%b%d %H:%M:%S') 

解析request

在日志信息原始数据中得到的 request 的内容格式为:

/report?XXXXXX 

这里只需要根据协议取出 XXXXXX 即可。

这里仍然采用Python的 re 模块

import re   def parserequest(rqst):     param = r"?P<param>.*"     p = re.compile(r"/report/?(%s)" %param, re.VERBOSE)     return re.findall(p, rqst) 

接下来需要根据业务协议解析参数内容。这里需要先利用 base64 模块解码,然后再利用 struct 模块解构内容:

import struct import base64   def parseparam(param):     decodeinfo = base64.b64decode(param)     s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')     return s.unpack(decodeinfo) 

解析userAgent

在日志信息原始数据中userAgent数据的格式为:

XXX; XXX; XXX; XXX 

根据业务要求,只需要取出最后一项即可。

这里采用 re 模块来解析。

import re   def parseuseragent(useragent):     agent = r"?P<agent>.*"     p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)     return re.findall(p, useragent) 

至此,nginx日志文件解析基本完成。

剩下的工作就是根据业务需要,对获得的基本信息进行处理。

(完)

正文到此结束
Loading...