标签：搜索引擎蜘蛛

搜索引擎蜘蛛会定期来抓取网站内容，以便收录网页，站长们是非常欢迎蜘蛛来爬的，但是却有人经常伪造蜘蛛IP进行恶意采集内容，还有很多DDOS攻击也会伪造成蜘蛛的User Agent来攻击，我查看过一位站长朋友被DDOS攻击的日志，里面大概20%...