4.1.3. 配置管理模块
配置管理模块与任务管理模块相似,不同点在于配置管理模块中包含了正则配置子模块。
可对不同主配置进行详细的正则表达式子配置。
图 4-3 web配置管理效果图
4.1.4. 添加任务效果图
添加任务只需要填写关键字,选择相应的配置(也就是搜索模式),再填写周期、单次数量、过期日期保存即可。通过简单的填写就可以完成一个任务的添加,添加成功之后会刷新任务列表,于此同时如果爬虫到达了指定的监测周期,就会拉取任务进行执行,管理端可以看到当前任务状态。如果没有可用配置,点击添加按钮之后会提示请先添加配置。
30
图 4-4 web添加任务效果图
4.1.5. 添加配置效果图
添加配置相对复杂一点,分两步,第一步先按照规则填写配置信息,点击保存之后回根据配置生成配置记录、记录存储表、以及默认内容详细正则。成功之后点击进入正则配置,配置相应的正则筛选规则。
1) 添加配置
31
图 4-5 web添加配置效果图
2) 配置详细正则
32
图 4-6 web添加正则配置效果图
4.1.6. 导出记录效果图
在任务管理面板,点击对应任务后面的查看记录按钮,即可进入记录管理模块;之后在面板右上角文本框中填写导出记录信息,点击导出即可。
图 4-7 web导出记录效果图
4.1.7. 爬虫设置效果图
点击导航栏的爬虫设计按钮即可加载设置窗口。
33