这一节是关于爬虫抓取协议的。开头孙权说了个:“讲不下去了”,这句话让野狼陷入遐想。可能是无意说的一句话吧,因为不知道前边发生了什么,听不出什么意思。有人当场听了,留言一下最好。
好了,看视频吧!
关于蜘蛛爬虫协议的,信息比较少,也就是关于https协议和http协议的。
【要点】百度虽然支持https但是需要做一个跳转,http协议的网址要跳转到https上,这样百度才能正常的进行抓取。
下边举一个支付宝的例子,先看截图:

https协议可以正常的访问,返回200状态说明正常访问不跳转。
看了前边的两个图应该就不难理解孙权的举例了吧。PS:他说的爱拍网,还是什么的,上网上找了没有见用https协议,这家伙瞎搞的吧,不靠谱^-^