应急响应——Web日志分析

诸葛亮

2023-12-01

Web日志

Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析，不仅可以帮助我们定位攻击者，还可以帮助我们还原攻击路径，找到网站存在的安全漏洞并进行修复。

Web日志格式

218.19.140.242 - - [10/Dec/2010:09:31:17 +0800] “GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1” 200 1933 “-” “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)”

web日志格式共有9项内容，如下表示

主机ip/hyphen(可为空)/用户HTTP身份验证(可为空)/请求时间/请求方法、资源、协议/状态码/字节数/HTTP Referer(可为空)/User-Agent

通过web访问日志，可以清除的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器的情况下访问了你网站的哪个页面，是否访问成功。

Web入侵日志分析

网站入侵分析的思路

确定攻击者入侵时间、ip地址，查找这个时间范围内可以的日志，进一步排查，最终确定攻击者，还原攻击过程。分析攻击者如何找到后台（模糊目录？）；攻击者如何进入后台（弱密码/爆破密码/强制浏览），检查是否留有后门，是否进入服务器？若进入了服务器则对服务器进行主机入侵排查

中间件日志默认存放位置

apache

apache日志一般分为access_log 和 error_log两种

Windows:  /apache/logs/
Linux: /var/log/apache2

access_log记录对apache服务器的请求访问
error_log记录错误请求，服务器错误

Ngnix

ngnix日志一般分为access.log、error.log两种

Windows: /Nginx/logs/
Linux: /var/log/nginx

access.log 主要记录访问日志
error.log 主要记录一些错误信息

iis

文件夹下的日志，主要记录访问域名时间、访问IP、访问url等信息

Windows: C:\WINDOWS\system32\LogFiles

tomcat

##安装目录
/tomcat/logs

/tomcat日志一般分为catalina.out、localhost、manager、

localhost_access_log4种格式日志。
catalina.out主要记录运行中残生的信息，如异常错误等
localhost.Y-M-D.log 内部代码丢出的异常日志
manager.Y-M-D.log 管理日志
localhost_access_log 访问日志信息，访问时间、ip地址等

weblogic

Weblogic安装后默认开启日志记录功能，默认情况下会有3中日志，分别是access log、Server log 、domain log

##Weblogic 8.x版本日志位置$MW_HOME\user_projects\domains\<domain_name>\<server_name>\access.log

$MW_HOME\user_projects\domains\<domain_name>\<server_name>\<server_name>.log

$MW_HOME\user_projects\domains\<domain_name>\<domain_name>.log

##Weblogic 9及以后版本日志位置
$MW_HOME\user_projects\domains\<domain_name>\servers、<server_name>\logs\access.log

$MW_HOME\user_projects\domains\<domain_name>\servers\<server_name>\logs\<server_name>.log

$MW_HOME\user_projects\domains\<domain_name>\servers\<adminserver_name>\logs\<domain_name>.log

#其中$MW_HOME是WebLogic的安装目录
#<domain_name>是域的实际名称，是在创建域的时候指定的
#<server_name>是Server的实际名称，是在创建Server的时候指定的
#<adminserver_name>是Admin Server的实际名称，是在创建Admin Server的时候指定的

access.log主要记录http请求
server log 主要记录weblogic启动、关闭、部署等相关信息
domain log 主要记录weblogic server 的doain运行情况（如：严重错误）

日志分析

#统计爬虫：

grep -E 'Googlebot|Baiduspider'  /www/logs/access.2019-02-23.log | awk '{ print $1 }' | sort | uniq

#统计浏览器

cat /www/logs/access.2019-02-23.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100

#IP统计

grep '23/May/2019' /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 10   2206 219.136.134.13   1497 182.34.15.248   1431 211.140.143.100   1431 119.145.149.106   1427 61.183.15.179   1427 218.6.8.189   1422 124.232.150.171   1421 106.187.47.224   1420 61.160.220.252   1418 114.80.201.18

#网段统计

cat /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200

#域名统计

cat  /www/logs/access.2019-02-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more

#URL统计

cat  /www/logs/access.2019-02-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more

#文件流量统计

cat /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|moregrep ' 200 ' /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more

#URL访问量统计

cat /www/logs/access.2019-02-23.log | awk '{print $7}' | egrep '?|&' | sort | uniq -c | sort -rn | more

#IP、URL抽取

tail -f /www/logs/access.2019-02-23.log | grep '/test.html' | awk '{print $1" "$7}'

#1、列出当天访问次数最多的IP命令：
cut -d- -f 1 log_file|uniq -c | sort -rn | head -20


#2、查看当天有多少个IP访问：
awk '{print $1}' log_file|sort|uniq|wc -l


#3、查看某一个页面被访问的次数：
grep "/index.php" log_file | wc -l


#4、查看每一个IP访问了多少个页面：
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file


#5、将每个IP访问的页面数进行从小到大排序：
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n


#6、查看某一个IP访问了哪些页面：
grep ^111.111.111.111 log_file| awk '{print $1,$7}'


#7、去掉搜索引擎统计当天的页面：
awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l


#8、查看2018年6月21日14时这一个小时内有多少IP访问:
awk '{print $4,$1}' log_file | grep 21/Jun/2018:14 | awk '{print $2}'| sort | uniq | wc -l

参考：
https://www.secpulse.com/archives/108090.html
https://bypass007.github.io/Emergency-Response-Notes/LogAnalysis/%E7%AC%AC3%E7%AF%87%EF%BC%9AWeb%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90.html