真正意义上的网站分析是从服务器日志开始的，而且直到今天，分析服务器（也称为server log file，或简称log file）日志仍然是网站分析的重要方法。

很多站长可能都知道网站LOG日志很重要，可能是因为密密麻麻的字符串让人比较头疼，所以很多人仅仅是知道，而没有去深究，殊不知网站LOG日志能为我们做SEO提供非常大的帮助！下面我就再啰嗦一下网站LOG日志。

网站LOG日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以（·log）结尾的文件。所以这是我们检查网站SEO各项数据的一项重要指标。

什么情况下需要分析服务器日志？

既然服务器日志的分析这么复杂，我们有没必要天天去分析服务器日志，那我们在什么情况下，才需要去分析服务器日志呢？对此，马海祥建议你如果有如下的数据监测和分析的需要，你应该用日志分析方法了。

（1）、需要了解搜索引擎机器人或者其他非人为访问流量，并且希望据此对网站进行针对性的优化，如通过分析搜索引擎的访问行为来进行SEO。

（2）、需要了解除了普通的PC客户端之外的上网设备对网站的访问情况。

（3）、需要了解网站的文件资源是否被用户完整的下载索取。

（4）、对网站流量信息具有极高的保密需要，不允许让任何第三方染指或帮忙。

（5）、对于网站服务器的安全性和可维护性有要求，以及有非常显著的反抗黑客或其他非授权访问需求的。

一、查看目录抓取概况
目录抓取，可以清晰的查看到光顾网站的蜘蛛爬行过哪些目录。要知道：有些目录是没有价值的，如一些图标目录、下载目录、留言目录等，还有后台目录、数据库，如果任由蜘蛛爬行，也是一种安全隐患。另外一方面，搜索引擎对于不同的站点都有着抓取配额，无用目录，更不要占用这样的配额，以免减少有效配额的抓取量。

二、查看页面抓取概况
页面抓取可以准确的查看到蜘蛛爬行的每一个页面，这也是对于LOG日志分析上非常重要的一个环节。如：多重URL链接的抓取?垃圾页面的抓取?都是可以在其中展现出来的。甚至：某个页面抓取频率越高，通常代表这个页面更有价值。

如果你想优化的页面，抓取频率偏低，那么就要为其增加适当的曝光度，来达成你想要的结果。

三、查看状态码信息
状态码分为两种，一种是蜘蛛状态码，另一种是用户状态码，通过蜘蛛状态码可以准确的查看到网站是否存在抓取问题。例如：404代表的是错误页，301、302代表的是重定向，还有一些：504、500、等状态码，值得说的是：除去200状态码，出现其他的状态码都是应当值得注意的，当然，如果只是个别几条则无需理会。但是如果数量一旦偏多，网站则100%出现问题了。

而用户状态码，则代表用户的访问情况，在这其中可以清晰的看到用户最为关注哪些页面。不要认为这是小事情，懂得营销的站长，知道投其所好!

通过分析服务器日志的数据，我们可以看出蜘蛛的活跃程度、亲和程度、抓取深度等，总访问次数、停留时间、抓取量越高、平均抓取页面、平均停留时间，表明网站越受搜索引擎喜欢，对于重要目录，我们可以通过内外调整增加权重及爬取，对于无效页面，在robots文件进行屏蔽，进而有效的进行网站运营。