SiteSucker使用记录

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ygd1994/article/details/77750644

之前有试过用爬虫的方式扒取整个网站,缺点是耗时长,需要做的分析工作比较多,但是也有优点,完整分析后对整个网站的结构比较清晰,修改起来比较方便。最近领导给了个任务,给一天时间扒下来一个段子网站,很头疼,分析网站,写爬虫,再进行正则替换,这一套下来怎么着也得半个星期吧。然后本着轮子还是别人造的好的精神,谷歌(百度)到了这款软件。顺便吐槽下,这款软件网上的攻略都不给力啊,来一篇自己的踩到坑坑记录吧。


  • 下载安装

    • 自行百度SiteSucker

  • 软件界面


  • 功能介绍

    • 整站下载
    • 图形化界面

  • 使用指南I

    1. 在输入框中输入要爬取的种子url(一般网站首页吧,看你心情)
    2. 回车开始爬,over

  • 使用指南II

    1. 通过设置Path Constraints可选择爬取范围
      • None: 无限制
      • Host: 与种子 url 属同一个(子)域
      • Directory: 与种子 url 属于统一路径
      • Paths Settings: 当前 url + 自定义 Paths Settings
    2. File Modification设置为Localize可以自动帮你关联本地js、css等文件
    3. File Replacement可以选择重复爬取的文件是覆盖还是怎么着
    4. 可以通过设置Levels来决定爬取的深度
    5. 多个爬取任务可以添加到queue,爬取配合设置的爬取深度可自动切换任务
    6. 爬取过程中分析文件占了很长的时间,如果爬到一半不想爬了可以先停止分析,把下载队列里的文件都下完就自动停止了
    7. 可以在webpage->patterns里面对爬取内容设置正则替换(有不可言说的妙用…)
    8. request里面可以选择ua,还可以设置尝试次数
    9. FileType里面可以过滤爬取的类型,比如视频(老司机微微一笑)
    10. preference里面还可以设置同时开启的连接数(加速)
    11. 需要登录才能抓取的,先在Open Browser中登录然后开始抓(过弯)
    12. Ignore Robot Exclusions可以突破rotots.txt的限制(起飞)

大概也就研究了这么多,一顿饭的时间,电脑已经帮我爬取并整理好我想要的东西了。

猜你喜欢

转载自blog.csdn.net/ygd1994/article/details/77750644
今日推荐