尽管百度的口碑并不好，可是不可否认的是，它一直是中文搜索中的霸主，所以对大多数中小型商业公司而言，都对baidu蜘蛛的抓取做法予以放行，不过还有许多不合法的蜘蛛，它们会经过 User-Agent 把自个伪装成baidu蜘蛛，此刻如果单纯以...