这一个视频比较短，就讲了关于封禁的问题，我们一起来看看：
这一节主要是讲封禁的，常见的封禁是有三类：
一、robots.txt封禁这个蜘蛛爬虫文件不让百度抓取是很头疼的事情。野狼以前有个朋友，在某网络公司做了SEO，后来感觉那一家水平太差转到我们这里，网站因为在那个网路公司，后来就发现那家伙竟然用robots.txt封了蜘蛛抓取，这就是赤裸裸的捣乱。二、ua/ip封禁这种一般是某些时候蜘蛛抓取频繁或者是服务器做某些设置的时候不小心弄到了，要注意多检查。当然还有一些是程序的问题，自动判断是不是蜘蛛，是的话不返回结果，某一些黑客可能会篡改你的网站，让蜘蛛抓取的时候跳转到他们的网站，人为访问的时候正常（目的是为了增加自己站点的权重）。三、CDN封禁很多是超时，一般一些小的CDN不太稳定，所以有时候抓取的时候超时是比较麻烦的事情。因为有的地区能访问有的地区不能，很难察觉。