网站访问蜘蛛过多 导致负载状态一直100%,怎么办?


网站访问蜘蛛过多 导致负载状态一直100%,怎么办?

蜘蛛过多,导致负载状态一直100%,又不想升级服务器,怎么办?360和头条的蜘蛛同时来,但是过几个小时蜘蛛不来了又恢复了。

来归来啊,你是一条收录都没有,站长平台也没有看到索引量和收录,但是基本天天来,导致服务器一直负载状态一直100%。

这个有没有办法解决?难道禁止他们来吗?还是让他一直这样,还还还还是是是有其他的解决方法?

遇到这个问题我们可以尝试通过搜索引擎站长平台来调节蜘蛛的抓取频次。

百度站长平台-抓取频次-当前抓取频次过大如何解决?-抓取频次上限调整

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?

360搜索站长平台-蜘蛛压力-手动调整最大抓取频率

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?

头条搜索站长平台-抓取频次-抓取频次上限调整

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?

调整后等个一两天看看,是不是恢复正常了,如果还是这样,建议屏蔽掉一些搜索引擎蜘蛛,比如360和头条搜索引擎蜘蛛,往往都会给服务器带来非常大的压力,可以通过网站请求日志查看一些访问较为频繁的IP,然后用防火墙进行拦截。

有条件的话,可以考虑用CDN进行抓取缓解。相关链接

主题测试文章,只做测试使用。发布者:水桥丶帕露西,转转请注明出处:https://www.haozhuji.com.cn/jc/jingyan/79124.html

(0)
上一篇 2022年10月3日 12:44
下一篇 2022年10月4日 09:47

相关推荐

发表评论

邮箱地址不会被公开。 必填项已用*标注

==========================