爬虫系统概要设计说明书

 

                                                                      爬虫系统概要设计说明书

目 录

第1章 引言. 4

1.1 编写目的.... 4

1.2 背景.... 4

1.2.1 项目名称.... 4

1.2.2 项目的设计者.... 4

第2章 任务概述. 4

2.1 目标.... 4

2.2 假定和约束.... 4

第3章 概要设计. 5

3.1 现有系统.... 5

3.2 升级后系统.... 5

3.2.1 页面原型.... 5

3.2.2 状态转换图.... 6

 

1. 引言
   1. 编写目的

本文档的编制是为了使用户和系统开发人员双方对整个系统的运行环境、功能和性能要求的初始规定有一个共同的理解，使之成为爬虫系统开发工作的基础，并为概要设计提供需求分析。

本说明书的预期读者为客户、监理人员、业务或需求分析人员、测试人员、用户文档编写者、项目管理人员。

1. 1. 背景
      1. 项目名称

爬虫系统

1. 1. 1. 项目的设计者

北京荣程创新科技发展股份有限公司

1. 任务概述
   1. 目标

本项目为实现爬虫系统的自动化运行，尽量减少进行人工干预，做出系列化改造。

1. 1. 假定和约束

环境假定：假定应用用户具备本系统软件所需要的运行环境。

用户假定：假定最终操作用户和管理员用户具备基本的计算机基础知识和良好的计算机操作能力和水平

1. 概要设计
   1. 现有系统

1. 1. 升级后系统
      1. 页面原型

查询页面：

●增加任务队列的增删改查功能。每个任务队列，对应一个爬取任务。

●增加任务开始和暂停功能，同一时刻只能执行一个任务。

●增加当失败任务重新爬取功能，失败任务重试三次。

●系统自动完成任务调度并执行。

●增加任务导入功能，通过execl表格导入相应队列的爬取任务。表格格式如下：

●增加任务结果导出功能，字段：url、type、result

新建页面：

1. 1. 1. 状态转换图