httpclient+jsoup 爬虫注意事项(java)

本在在用httpclient+jsoup爬去数据,发现,有些数据返回null,断电跟入,原来是请求失败,刚开始加了httpclient重试,都不起

效果,最后,考录到电脑内存,然后并发运行调小,缓解了一些null,但是还是存在,最后,调节了一下idea编辑器的jvn参数,搞定,jvm参数,idea编辑器会占用一些资源,剩下的就是数据,数据不够是,正常是应该报错内存溢出的,但是为什么没有报错内存溢出,二十,报错网络问题,我还无从知晓,建议,电脑内存剩余两个g左右,否者你懂的,第一次写微博,如果描述的不清楚,可以直接联系我 ,见谅

猜你喜欢

转载自blog.csdn.net/weixin_39770927/article/details/81362102