Web服务器日志分析

Web服务器日志分析刘培顺提纲APACHE日志分析IIS日志分析APACEH日志分析web服务器日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对日志进行统计、分析和综合，就能有效地掌握服务器的运行状况、发现和排除错误原因、了解客户访问分布等，更好地加强系统的维护和管理。Web服务模式主要有三个步骤：服务请求，包含用户端的众多基本信息，如IP地址、浏览器类型、目标URL等。服务响应，Web服务器接收到请求后，按照用户要求运行相应的功能，并将信息返回给用户。如果出现错误，将返回错误代码。追加日志，服务器将对用户访问过程中的相关信息以追加的方式保存到日志文件中。Apache日志的配置日志类型错误日志访问日志传输日志Cookie日志日志内容错误日志包含获知失效链接获知CGI错误获知用户认证错误访问日志包含：访问服务器的远程机器的地址：可以得知浏览者来自何方浏览者访问的资源：可以得知网站中的哪些部分最受欢迎浏览者的浏览时间：可以从浏览时间(如工作时间或休闲时间)对网站内容进行调整浏览者使用的浏览器：可以根据大多数浏览者使用的浏览器对站点进行优化访问日志分类：为了便于分析Apache的访问日志，Apache的默认配置文件中，按记录的信息不同(用格式说明不同的信息)将访问日志分为4类：普通日志格式(commonlogformat,CLF)common大多数日志分析软件都支持这种格式参考日志格式(refererlogformat)referrer记录客户访问站点的用户身份代理日志格式(agentlogformat)agent记录请求的用户代理综合日志格式(combinedlogformat)combined结合以上三种日志信息4种访问日志类型LogFormat%h%l%u%t\%r\%s%b\%{Referer}i\\%{User-Agent}i\combinedLogFormat%h%l%u%t\%r\%s%bcommonLogFormat%{Referer}i-%UrefererLogFormat%{User-agent}iagent综合日志由于综合日志格式简单地结合了3种日志信息，所以在配置访问日志时，要么使用一个综合文件进行记录，要么使用分离的多个(1-3)文件记录。通常使用一个综合日志格式文件进行记录，配置为：CustomLog/var/log/apache2/access.logcombined日志文件若使用3个文件分别进行记录，配置为：CustomLog/var/log/apache2/access.logcommonCustomLog/var/log/apache2/referer.logrefererCustomLog/var/log/apache2/agent.logagent日志格式说明%v进行服务的服务器的标准名字ServerName，通常用于虚拟主机的日志记录中。%h客户机的IP地址。%l从identd服务器中获取远程登录名称，基本已废弃。%u来自于认证的远程用户。%t连接的日期和时间。日志格式说明%rHTTP请求的首行信息，典型格式是METHODRESOURCEPROTOCOL”，即“方法资源协议”。经常可能出现的METHOD是GET、POST和HEAD；RESOURCE是指浏览者向服务器请求的文档或URL；PROTOCOL通常是HTTP，后面再加上版本号，通常是HTTP/1.1。日志格式说明%s响应请求的状态代码，一般这项的值是200，表示服务器已经成功地响应浏览器的请求，一切正常；以3开头的状态代码表示由于各种不同的原因用户请求被重定向到了其他位置；以4开头的状态代码表示客户端日志格式说明%b传送的字节数（不包含HTTP头信息），将日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。%{Referer}i指明了该请求是从被哪个网页提交过来的。%U请求的URL路径，不包含查询串\%{User-Agent}i\此项是客户浏览器提供的浏览器识别信息。日志格式说明日志格式说明日志格式说明日志格式说明apache访问日志配置错误日志错误日志记录了服务器运行期间遇到的各种错误，以及一些普通的诊断信息，比如服务器何时启动、何时关闭等。ErrorLog命令指定了当服务器遇到错误时记录错误日志的文件名。其格式为：格式1：ErrorLog错误日志文件名格式1直接指定错误日志文件名，除非文件位置用”/“开头，否则ErrorLog所制定的文件位置是相对于ServerRoot目录的相对路径。格式2：ErrorLog|管道程序名格式2实现管道日志，它指定一个命令来处理错误日志。LogLevel。用于调整记于错误日志中的信息的详细程度从文件内容可以看出，每一行记录了一个错误。格式为：日期和时间错误等级错误消息IIS日志IIS日志简介IIS提供了一套相当有效的安全管理机制，并且也提供了一套强大的日志文件系统，而IIS日志文件一直都是网站管理人员查找“病源”的有利工具,通过对日志文件的监测,可以找出有疑问的痕迹,得到网站的访问,操作记录,以及系统的问题所在。IIS日志记录了网站服务器接收，处理请求以及运行错误等各种原始信息。即它可以记录访问者的一举一动，不管访问者是访问网站，还是上传文件，不管是成功还是失败，日志都以进行记录。IIS日志文件的存放通过你的网站--属性--“网站”--“启用日志”是否勾选可以看到日志文件是否启用。IIS6.0日志文件默认位置为%systemroot%\system32\logfiles\w3svc1\，默认每天一个日志。不要使用默认的目录，更换一个记录日志的路径，如果不换日志的路径，不对日志进行保护，会很容易被入侵者找到并把日志中的痕迹毁掉，因此建议不要使用默认目录，设置日志文件的访问友限，只允许管理员SYSTEM为完全控制的权限。日志记录的格式日志记录是固定的ASCII格式，开头四行都是日志的说明信息#Software生成软件#Version版本#Date日志发生日期#Fields字段，显示记录信息的格式，可由IIS自定义日志主体是一条一条的请求信息，请求信息的格式是由字段定义的，每个字段间用空格隔开，日志记录的格式常用字段解释如下：data日期time时间s-ip生成日志项的服务器IPcs-method请求方法cs-uri-stem请求文件cs-uri-query请求参数cs-username客户端用户名c-ip访问服务器的客户端IPs-port客户端连接到的端口号cs-version客户端协议版本cs(User-Agent)客户端浏览器cs(Referer)引用页sc-status操作状态代码，常见的有200表示成功，404表示找不到该页面，500表示程序出错举例说明日志文件格式#Software:MicrosoftInternetInformationServices6.0#Version:1.0#Date:2009-01-0100:00:06#Fields:datetimes-sitenames-ipcs-methodcs-uri-stemcs-uri-querys-portcs-usernamec-ipcs(User-Agent)sc-statussc-substatussc-win32-status上面代码说明了生成软件：MicrosoftInternetInformationServices6.0版本：1.0日成发生日期：2009-01-0100:00:06举例说明日志文件格式日志记录的格式：date日期time时间s-sitename请求站点的实例编号s-ip生成日成服务器IPcs-method客户端执行的操作cs-uri-stem访问的资源cs-uri-query访问地址的参数s-port端口cs-username访问服务器的已通过身份验证的用户名称c-ipcs(User-Agent)客户端IPsc-status操作状态代码sc-substatus子状态代码sc-win32-statusWondows状态代码举例说明日志文件格式2009-01-0100:00:06W3SVC77065997202.201.128.14HEAD/jxmtll/xiaozuxuexi/2005/5/5.swf-80-61.135.162.6Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1)200064举例说明日志文件格式访问时间：2009-01-0100:00:06所访问的服务器实例编号：W3SVC77065997所访问的服务器IP地址：202.201.128.14执行的操作：HEAD/jxmtll/xiaozuxuexi/2005/5/5.swf访问的端口：80客户端IP地址：61.135.162.6浏览器的类型：Mozilla/4.0+系统相关信息：compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1操作代码状态：200（正常）Wondows状态代码：64（指定的网络名不再可用）IIS日志的作用通过IIS日志了解搜索引擎的到访记录用ultraedit打开后，按CTRL+F键，输入Googlebot，按回车，在新窗口中显示的页面就是google机器人的到访问记录，选中其中之一双击，可以看到访问的时间和页面。继续查找Baiduspider可以看到baidu蜘蛛的爬行记录。其他搜索引擎通过查找如Yahoo、Sogou、msnbot、YodaoBot…IIS日志的作用通过IIS日志查找网站是否存在死链接下面是搜索404时我的网站IIS日志中出现的几条记录：2009-01-2003:55:28W3SVC77065997202.201.128.14GET/bbs/data/dvbbs7.mdb-80-219.153.244.233InetURL:/1.0404022009-01-2003:55:28W3SVC77065997202.201.128.14GET/bbs/data/dvbbs7.mdb-80-219.153.244.233InetURL:/1.0404022009-01-2004:39:58W3SVC77065997202.201.128.14GET/admin/bbs/data/dvbbs7.mdb-80-219.153.244.233InetURL:/1.0404032009-01-2004:39:58W3SVC77065997202.201.128.14GET/admin/bbs/data/dvbbs7.mdb-80-219.153.244.233InetURL:/1.0404032009-01-2011:55:01W3SVC77065997202.201.128.14GET/leadBBS/DATA/leadbbs.mdb-80-124.132.131.128InetURL:/1.0404032009-01-2011:55:01W3SVC77065997202.201.128.14GET/leadBBS/DATA/leadbbs.mdb-80-124.132.131.128InetURL:/1.040403这是有人在用一些扫描工具对网站进行数据库查找，看看能不能猜到网站的数据库位置和名称，以便下载看到更具体的信息。IIS日志的作用通过IIS日志查找网站是否存在程序错误输入500进行查找，如果查找到相关页面，说明网站的程序在运行过程中出现了错误，需要对程序进行修改。通过IIS日志查找网站是否被入侵过通过IIS日志可以判断网站是否曾被通过SQL注入过，是怎样被入侵的。在网站IIS日志我们搜索一下%20和