基于DOM的维普文献信息智能提取系统设计与实现 下载本文

用例描述 用例名称 简要说明 参与者 前置事件 爬虫执行任务用例 爬虫完成一次任务执行 爬虫 爬虫系统启动 ? 基本流 1. 获取配置 2. 按照配置进行监听 3. 任务分配线程获取任务队列 4. 暂停监听 5. 根据爬虫设置开启线程 6. 分配任务给线程 7. 启动线程 事件流 8. 开始执行任务 9. 任务完成 10. 恢复监听 ? 备选流 1. 获取配置 2. 按照配置进行监听 3. 任务分配线程获取任务队列 4. 没有任务队列,释放任务分配线程 ? 成功 1. 成功消息写入日志,更新系统状态,恢复监听 后置事件 ? 失败 1. 错误消息写入日志,恢复监听 1a:有任务执行时,更新任务状态 扩展点 1b:有任务执行完成之后,更新系统状态 14

1c:当有任务执行前,执行之后,执行异常都会将信息写入日志 特殊需求 问题说明 其他说明 无 无 用例使用频率:高 3. 系统设计

3.1. 概要设计 3.1.1. 活动图

1) 用户添加任务活动图

登陆失败登陆任务管理添加任务图 3-1用户添加任务活动图

2) 用户导出记录活动图

登陆失败登陆任务管理进入任务记录列表导出excel图 3-2用户导出记录活动图

3) 爬虫执行任务活动图

可执行任务队列为空监测任务获取任务队列分配任务执行任务写入日志图 3-3爬虫执行任务活动图

4) 用户添加配置活动图

15

登陆失败登陆配置管理添加配置生成对应表及配置图 3-4用户添加配置活动图

3.1.2. 状态图

1) 用户状态图

输入用户名密码登陆登陆状态进入任务管理进入配置管理管理任务状态切换管理配置状态切换进入任务管理管理记录状态

图 3-5用户状态图

2) 爬虫状态图

16

初始化配置成功任务监测状态到达配置时间间隔拉取任务状态存在任务队列任务线程排队中分配任务状态没有任务队列调度线程执行任务状态

图 3-6爬虫状态图

3.1.3. 界面设计

1) Web

Web管理端界面设计使用前段框架进行设计,主要包含任务、配置、日志、设置几大模块。

图 3-7 web界面设计图

17