有的人通过查看百度站长平台的robots.txt更新时间来看百度蜘蛛是不是来爬过。这是错误的。为什么呢？先看一下野狼SEO博客吧。
上图所示的百度更新时间是在一个月前，但是事实上百度每天都会过来抓取的。
 

看看这个图就说明百度每天是要过来抓取一下的。所以他更新robots.txt跟是不是来抓取一点关系都没有。最主要的还是看抓取压力。