2022
我们一起努力

中小型网站屏蔽一下垃圾和国外的搜索引擎蜘蛛

如下,这些搜索引擎的蜘蛛基本上都是什么作用的,网站跟目录新建一个robots.txt文件,把下面这些放进去就好了。

User-agent: Googlebot
Disallow:/
User-agent: SemrushBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: tracking bot
Disallow: /
User-agent: DataForSeoBot
Disallow: /

赞(0)
文章名称:《中小型网站屏蔽一下垃圾和国外的搜索引擎蜘蛛》
文章链接:https://www.fzvps.com/9512.html
本站文章来源于互联网,如有侵权,请联系管理删除,本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。
图片版权归属各自创作者所有,图片水印出于防止被无耻之徒盗取劳动成果的目的。

相关推荐

  • 暂无文章

评论 抢沙发

评论前必须登录!