如下,这些搜索引擎的蜘蛛基本上都是什么作用的,网站跟目录新建一个robots.txt文件,把下面这些放进去就好了。
User-agent: Googlebot
Disallow:/
User-agent: SemrushBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: tracking bot
Disallow: /
User-agent: DataForSeoBot
Disallow: /
评论前必须登录!
注册