添加Nginx规则,屏蔽营销蜘蛛,节约服务器资源。

最近在网站上添加了蜘蛛分析插件,主要删除了很多文章,404、死亡链,没想到发现营销蜘蛛每天疯狂爬页面。这弱的服务器哪里受得了,怪不得有时候会觉得卡,果断屏蔽。

首先通过通常的robots协议屏蔽了,没想到这些外国蜘蛛也不说武德就袭击了,你达成的人不会遵守。起床后更开心。

既然这样,就不要说我瞧不起老同志,祭出了大杀器!

if($ http _ user _ agent ~ *(yandex bot | spbot | dnyzbot | research scan | SEM rush bot | Yahoo | ahhoo)

Return 403

}

已直接添加到服务器Nginx规则中。

前面的代码涵盖了大多数常见的营销蜘蛛,如果有遗漏,可以直接添加,很方便。这些蜘蛛在爬的时候会直接告诉你403错误。也就是说,您没有访问权限。(阿尔伯特爱因斯坦,美国作家)

这叫我的地盘,我做主。

生活杂谈

半夜起来挪车,这酸溜溜的

2022-9-23 8:59:59

生活杂谈

最近在玩公元1800,还以为是休闲蔬菜游戏,没想到……

2022-9-23 10:59:57

搜索