Csdn开源爬虫项目

版权声明:本文为博主高远原创文章,转载请注明出处:http://blog.csdn.net/wgyscsf https://blog.csdn.net/wgyscsf/article/details/72781828

简介

  • 本项目基于WebMagic爬虫框架,灵活运用爬虫技术实现对CSDN信息的爬取,在移动端进行数据的展示,服务于广大开发人员。
  • 本项目包括三大模块

    • 爬虫模块(CsdnSpider)
    • 服务器接口模块(CsdnService)
    • 客户端模块(CsdnAndroid、CsdnIos)
  • 爬虫模块主要负责CSDN各种信息的爬取、更新、过滤;定时任务的执行等。服务器接口模块主要负责为客户端提供所需各种API数据接口、模拟登陆、分词等。客户端模块主要负责数据的展示等。

说明

  • 本项目提供所需要的图标资源
  • 本项目提供接口文档
  • 本项目目前提供最新版Android CSDN+.apk下载
  • UI设计需要完善,如果想要完善UI设计可以联系
  • 提供测试接口:139.199.19.59(将接口文档中的localhost替换即可,不保证一直可用)

爬虫模块

已开发,暂不提供

服务器接口模块

https://github.com/scsfwgy/CsdnService

Android端

https://github.com/scsfwgy/CsdnAndroid

Ios端

待开发,欢迎加入

支持

  • 所有赞赏都将用于测试服务器和正式服务器的购买

这里写图片描述

这里写图片描述

声明

  • 本项目仅用于学习交流使用,禁止进行商业目的的开发、发布、运营等。数据所有权归http://www.csdn.net/所有。

猜你喜欢

转载自blog.csdn.net/wgyscsf/article/details/72781828