本项目是和MagicSpider配套使用的管理分布式爬虫的管理系统 主要目标功能实现:
- 主机管理
- 项目管理
- 控制爬虫任务运行，即开始运行、停止运行。
- 查看爬虫任务状态
- 查看爬虫任务运行结果：以csv的形式在网页端显示。
- 查看爬虫任务日志：以文本格式在网页端显示。
- 下载爬虫任务结果：下载csv文件。
- 主机管理功能主要是管理实现目标主机是否可用，以及增删可用主机的信息。
- 项目管理准确来说是爬虫管理，即可以发布到主机上进行运行的爬虫信息，也即项目部署。
- 爬虫任务是每一个任务的运行，该任务可以是分布式任务，也可以是单机任务。分布式任务默认会被分发到 所有可以使用的主机上运行。单机任务随机发送到一个可用主机上运行。