搜索引擎不收录网站及蜘蛛抓取源站失败的可能原因及解决方法
in 各种技术 with 1 comment

搜索引擎不收录网站及蜘蛛抓取源站失败的可能原因及解决方法

in 各种技术 with 1 comment

这几天一直在忙着做我的一个导航网站(网站名单),经过一周左右的努力,Google收录达521条(统计数据截止到2018.06.26.08:06)

UC截图20180626080620.png

但是百度收录

UC截图20180626080750.png

看到这个对比,差点就喷出一口老血。

这还得了,赶紧去百度资源平台抓取诊断下(请先忽略最新的一次,因为是成功后才发的此文,也忽略前几次,因为我没当做一回事去处理)

UC截图20180626080321.png

解决思路一

这种情况下一般都是安全软件把蜘蛛的ip给拦截了,然后我就去查防护日志,结果发现并没有符合的记录。(涉及到一些敏感信息,就不晒图了)

如果你的防护日志有类似的记录,可以尝试把ip加白名单后再抓取测试。

解决思路二

既然不是服务器安全软件拦截,那我猜测是cdn那边误拦了(一般没有这种可能),查看日志发现也没有相关的记录。

如果你的防护日志有类似的记录,可以尝试把ip加白名单后再抓取测试,或者先回源再抓取测试,这样排查原因。

解决思路三

我现在有些懵逼,我用17测和别的测试平台都测试了,都是正常的,全部返回200状态,

UC截图20180626082039.png

UC截图20180626081920.png

UC截图20180626081932.png

后来脑里灵关一闪,想起以前解析过搜索引擎线路

UC截图20180626084346.png

尝试性的删掉了解析,然后再次抓取诊断

UC截图20180626084630.png

抓取成功!问题真的出在了这里!我也不知道具体原因,反正解决了,也懒得去继续查。

到这里问题就解决了,本文是记录了我在这个过程中的一些思路,可能不是很全,但是应该对你有所帮助。

更多猜测

  1. 可能是你域名被K了(自己找解决方法,或直接换域名)
  2. 可能你服务器环境问题(最多的是重定向原因)
  3. 可能你服务器ip被墙(更换ip)
  4. 可能你同ip下有人做了违法网站(共享ip通病,建议使用独立ip)
  5. 网站使用一些手段刷流量或排名被降权了(别再继续了,防止被K,然后等等看)
  6. 暂时没想到,欢迎补充...

常用工具

百度资源搜索平台:https://ziyuan.baidu.com/

模拟抓取:https://tools.aizhan.com/rb/

HTTP状态码:https://tools.aizhan.com/pagestatus/

HTTP状态码:http://tool.chinaz.com/pagestatus/

网站测速:https://www.17ce.com/

网站测速:http://tool.chinaz.com/sitespeed

更多工具:https://tools.aizhan.com/

Responses
  1. 感谢大神,终于知道咋回事了,试了无数办法,结果就是忘了换搜索引擎线路解析,转载了您的文章,已注明出处,再次感谢。

    Reply