java编程

很多网站的防采集的办法,就是判断浏览器来源referer和cookie以及userAgent,道高一尺魔高一丈. 最近发现维护的一个爬虫应用,爬不到数据了,看了一下日志发现被爬网站做了防采集策略,经过定位后,发现被爬网站是针对referer做了验证,以下是解决方法: 在Java