C#爬虫应用

1.抓取接口数据,这个比较简单,HttpWebRequest模拟get,post请求。


2.当没有现成的接口,只能抓取网页上数据的时候,方案2就可以用了。原理:get请求获取html源码,然后利用开源的AngleSharp来解析html。父选择器:直接填jquery的css选择器。子选择器:列名+选择器,如果多个用;分割。


3.文件下载,目前支持:迅雷、快车、qq旋风,暂不支持ftp下载。

Demo下载:http://download.csdn.net/download/qq237183141/10232190


猜你喜欢

转载自blog.csdn.net/qq237183141/article/details/79208909