如何分析网站日志？

作为一个站长，如果你甚至不知道网站日志是什么，或者根本不喜欢它，我只能说你是一个不称职的站长。一旦网站出了问题，你一定很无助！即使你掌握了SEO的基本知识，你也应该善于分析网站日志

许多SEO新手站长可能会认为不分析网站日志没关系。我相信每个人都在自己的网站上安装了网站统计代码，比如GoogleAnalytics、quantumstatistics、baidustatistics、cnzz、51La等。这些工具可以计算网站的流量，但这些统计工具无法计算你主机上资源的原始访问信息，比如谁下载了图片，而且无法统计没有添加统计代码的地方，例如后台操作页面

绝大多数收费主机提供原始访问日志。网站服务器将自动记录每个访问者的访问信息，并将其保存在原始访问日志文件中。如果您的主机不提供日志功能，建议您在到期后更换主机。日志记录了网站上所有资源的访问信息，包括所有网页打开过程中加载的图像、CSS、JS、flash、HTML、MP3等资源。同时，它记录了谁访问了这些资源，访问了哪些资源，访问结果是什么。可以说，原始访问日志记录了主机所有资源的使用情况

分析网站日志的作用是什么

1。我们可以更准确地定位搜索引擎爬行器爬行我们网站的次数，并屏蔽伪爬行器（主要收集此类爬行器，这将增加我们服务器的开销）

2。通过分析网站日志，我们可以准确定位搜索引擎蜘蛛抓取的页面和时间长度。我们可以依次调整我们的网站

3。HTTP返回状态代码。搜索引擎蜘蛛和用户每次访问我们的网站时会有类似于301404200的状态吗？我们可以参考这些信息来简单地诊断我们的网站存在的问题，并及时处理问题

如何分析网站日志中的内容

注意经常访问的资源

如果您发现日志中经常访问资源（网页、图片、MP3等），您应该注意资源的使用位置！如果这些请求（referer）的来源不是您的网站或是空的，并且状态代码（httpcode）是200，这意味着您的资源可能会被盗。通过referer，你可以找到盗贼的网站，这可能是你网站流量激增的原因。你应该做好防盗链

2、注意你网站上不存在的资源请求

如果一些请求的信息不是本网站的资源，httpcode是403或404，但从名称分析来看，可能是保存数据库信息的文件。如果这些信息被其他人拿走，攻击你的网站就会容易得多。启动这些请求的目的无非是扫描你的网站，寻找漏洞。通过无目的地扫描和下载这些已知的漏洞文件，您很可能会在您的网站中发现漏洞！通过观察，我们可以发现这些请求中使用的代理几乎都是非传统浏览器类型，如Mozilla/4.0、Mozilla/5.0或libwwwPerl/。我在上面提供的日志格式化工具集成了这些请求的警报功能。我们可以通过禁止这些代理的访问来防止他们被扫描。具体方法如下所述

观察搜索引擎蜘蛛的访问

通过观察日志中的信息，你可以看到你的网站被蜘蛛访问的频率，然后你可以看到你的网站是否受到搜索引擎的青睐。这些都是SEO关注的问题。日志格式化工具集成了搜索引擎蜘蛛的提示功能。常见搜索引擎蜘蛛使用的代理列表如下：

谷歌蜘蛛：Mozilla/5.0（兼容；Googlebot/2.1）+http://www.google.com/bot.html）

百度蜘蛛：百度蜘蛛+（+http://www.baidu.com/search/spider.htm）

雅虎！Spider:Mozilla/5.0（兼容；Yahoo！Slurp/3.0；http://help.yahoo.com/help/us/ysearch/slurp）

雅虎！中国蜘蛛：Mozilla/5.0（兼容；雅虎中国；http://misc.yahoo.com.cn/help.html）

微软必应蜘蛛：MSNBot/2.0B（+http://search.msn.com/msnbot.htm）

谷歌Adsensespider:mediapartners谷歌

有道spider:Mozilla/5.0（兼容；有道机器人/1.0）；http://www.youdao.com/help/webmaster/spider/）

Soso博客蜘蛛：sosoblogspider+（+http://help.soso.com/soso-blog-spider.htm）

搜狗网蜘蛛：搜狗网蜘蛛/4.0（+http://www.sogou.com/docs/help/webmasters.htm#07）

Twiceler爬虫：Mozilla/5.0（Twiceler-0.9）http://www.cuil.com/twiceler/robot.html）

谷歌图像搜索蜘蛛：谷歌机器人图像/1.0

俄罗斯yandex搜索引擎蜘蛛：yandex/1.01.001（兼容；win16；I）

Alexa蜘蛛：IA_archiver（+http://www.alexa.com/site/help/webmasters）

Feedsky蜘蛛：Mozilla50（兼容；Feedskycrawler/1.0）

韩国雪人蜘蛛：雪人/1.0（nhncorp；http://help.naver.com/robots/）

观察访客行为

通过查看格式化日志，可以查看和跟踪某个IP在一定时间段内的一系列访问行为。单个IP的访问记录越多，网站的PV越高，用户粘性越好；如果单个IP的访问记录很少，你应该考虑如何使你的网站内容更具吸引力。通过分析访问者的行为，你可以为你的网站建设提供有力的参考，哪些内容好，哪些内容坏，并确定网站的发展方向；通过分析访问者的行为，看看他们做了什么，我们可以猜测访问者的意图，及时发现恶意用户

总结：另一点要介绍的是，当网站遇到搜索引擎的K下降时，网站日志可以向我们提供K下降的原因（我认为这是站群的朋友），通过网站日志的相关数据，我们可以看到搜索引擎何时会恢复正常访问。这样，我们可以选择继续或放弃。虽然它非常无助，但它也是最后的手段和明智的选择。