企亿推信息网
专注网络推广服务

解决百度蜘蛛抓取异常问题,巩固网站关键词首页排名

用户可以正常访问一些内容质量高的网页,但百度pider无法正常访问和抓取,导致搜索结果覆盖率不足,给百度搜索引擎和网站带来损失。百度称这种情况为“抢占例外”。

百度搜索引擎会考虑大量内容无法正常获取的网站在用户体验上的缺陷,减少对网站的评价。在抓取、索引和排名方面,百度搜索引擎会受到一定程度的负面影响,最终影响百度网站获得的流量。

以下描述了站长异常抓取的一些常见原因:

服务器连接异常有两种情况:(1)网站不稳定,百度spider暂时无法连接到您网站的服务器;(2)百度spider无法连接到您网站的服务器。

1、服务器连接异常的原因通常是您的网站服务器太大和过载。您的网站也可能运行异常。请检查网站web服务器(如Apache、IIS)使用浏览器检查主页是否使用浏览器检查主页是否可以正常访问。您的网站和主机也可能被阻止Baiduspider访问。您需要检查网站和主机的防火墙。

2、网络运营商例外:网络运营商分为电信和联通两类。spider无法通过电信或网络访问您的网站。如果发生这种情况,您需要联系网络服务提供商,或购买空间和二线服务或CDN服务。

3、DNS异常:当Baiduspider无法分析你的网站IP会出现地址DNS异常。可能是你网站的。IP地址错误,或域名服务提供商已被禁止Baiduspider。请使用whois或host检查你的网站IP地址是否正确且可分析。如果没有,请联系域名注册商更新您的信息IP地址。

解决百度蜘蛛抓取异常问题,巩固网站关键词首页排名(图1)

4、IP阻塞:IP阻塞限制了网络的导出IP禁止地址IP段用户访问内容。这里具体指百度piderip屏蔽。这个设置只在你的网站上,不希望百度pider只需要访问。如果你想让百度pider访问您的网站,请检查百度spiderIP是否错误地添加到相关设置中。您的网站所在的空间服务提供商也可能禁止百度IP。此时,您需要联系服务提供商以更改设置。

5、UA阻塞:UA是用户代理。服务器通过UA识别访问者的身份。当网站访问指定的UA并返回一个异常页面(如403500)或跳转到另一个页面,称为UA阻塞。这个设置只是你不想要的Baiduspider只有在访问您的网站时才需要它。若要百度访问您的网站,是否有百度在用户代理相关设置中及时修改。

百度蜘蛛抓异常问题

6、死链:页面无效,无法向用户提供任何有价值信息的页面为死链,包括协议死链和内容死链

协议死链:页面TCP协议状态/HTTP协议状态明确表示死链,如404、403、503等。

内容链:服务器返回状态正常,但内容已更改为不存在、删除或需要权限的信息页面,与原始内容无关。

对于死链,我们建议网站使用协议死链,通过百度网站管理员平台死链工具提交给百度,使百度能够更快地找到死链,减少死链对用户和搜索引擎的负面影响。

7、异常跳转:跳转是将网络请求重新定位到另一个位置。异常跳转是指以下情况:

1)当前页面为无效页面(内容已删除、死链等),直接跳转到上一个目录或主页,百度建议站长删除无效页面入口超链接

注:如果长时间跳转到其他域名,如果域名在网站上更改,百度建议设置301跳转协议。

其他网站异常原因:

1)百度推荐人的例外情况:网页返回不同于百度推荐人的正常内容。

2)对于百度UA例外:返回百度UA网页行为不同于页面的原始内容。

3)JS跳转异常:网页加载了百度无法识别的JS用户通过搜索结果进入网页后跳转代码。

4)压力过大造成的事故障碍:百度将根据网站规模、访问量等信息自动设置合理的压力。但在压力控制异常等异常情况下,服务器将根据自己的负载保护事故锁。在这种情况下,请在返回代码中返回503(即不可用的服务),以便百度spider试着在一段时间内再次获取链接。若该网站处于空闲状态,则将成功获取该网站。

未经允许不得转载:启新网站SEO优化 » 解决百度蜘蛛抓取异常问题,巩固网站关键词首页排名
分享到: 更多 (0)
加载中~