【baiduspider】相关的文档

HTTPS站点如何做才能让百度蜘蛛抓取 我们可以根据user-agent来判断spider。然后做301/302定向,百度spider引擎定向到HTTP 非百度SPIDER 定向到HTTPS 目前百度的度各个产品使用的user-agent: 目前有两种方法 第一种方法:可以采用.htaccess 301重定向 Rewrit