介绍
前言:有些网站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。
方案1:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:
(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)
![图片[1]-宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取-泽楠云资源博客](https://s1.ax1x.com/2022/03/07/brjp1s.png)
方案2:在宝塔面板找到对应的网站,点击设置,点击配置文件,加入以下代码:
if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") {
return 403; }

Nginx内部标志UA的变量为 $http_user_agent,想要屏蔽某个UA,找到其它UA的关键词,按上面的设置即可。
温馨提示:
© 版权声明
本站网络名称:
泽楠云资源博客
本站永久网址:
https://iizny.com
网站侵权说明:
本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长QQ905730354删除处理。
1 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
2 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
3 本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
1 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
2 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
3 本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
THE END
喜欢就支持一下吧
gyh494979154N新朋友2小时前0
666666666彬彬有礼游客8小时前0
感谢分享,感谢感谢godyuN新朋友前天0
嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻godyuN新朋友前天0
惺惺惜惺惺啊gyh494979154N新朋友前天0
666666gyh494979154N新朋友前天0
666666pitifanN新朋友2天前0
可乐游客2天前0
哈哈哈哈好好好好好好