宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取

介绍

前言:有些网站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案1:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:

(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)

图片[1]-宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取-泽楠云资源博客

方案2:在宝塔面板找到对应的网站,点击设置,点击配置文件,加入以下代码:

if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") {
      return 403; }

宝塔网站如何屏蔽蜘蛛禁止某些蜘蛛爬取
-程序员阿鑫-带你一起秃头!
-第2
张图片

Nginx内部标志UA的变量为 $http_user_agent,想要屏蔽某个UA,找到其它UA的关键词,按上面的设置即可。

© 版权声明
THE END
喜欢就支持一下吧
点赞8赞赏 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容