在google管理员工具中，有一个Site configuration中有个设置Settings,通过这个设置，可以改变google蜘 蛛对网站爬行的频率。在Crawl rate中，有两个选项，一个为Let Google determine my crawl rate  (recommended)让谷歌决定爬行频率，另一个即是自主设置的蜘蛛爬行频率,如下图：

通过google管理员工具改变蜘蛛爬行网站的频率

Tags: , ,