Crawlab – 基于Celery的分布式爬虫管理平台
2023-5-30 00:1:52 Author: LemonSec(查看原文) 阅读量:27 收藏

####################
免责声明:工具本身并无好坏,希望大家以遵守《网络安全法》相关法律为前提来使用该工具,支持研究学习,切勿用于非法犯罪活动,对于恶意使用该工具造成的损失,和本人及开发者无关。
####################

Crawlab介绍

Crawlab是一款基于Celery的爬虫分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架

Crawlab的架构跟Celery非常相似,但是加入了包括前端、爬虫、Flower在内的额外模块,以支持爬虫管理的功能。


Crawlab安装

# 安装后台类库pip install -r requirements.txt
# 安装前台类库cd frontendnpm install

更改配置文件config.py,配置API和数据库连接。

# 运行服务python manage.py serve

https://github.com/tikazyq/crawlab

侵权请私聊公众号删文

 热文推荐  

欢迎关注LemonSec
觉得不错点个“赞”、“在看“

文章来源: http://mp.weixin.qq.com/s?__biz=MzUyMTA0MjQ4NA==&mid=2247545818&idx=2&sn=51c832384e409f02528229494ab86ff2&chksm=f9e35c81ce94d597e5ff6da0c2dfa0e2aaeca367df61d306da04f77bb94702d86e9e3f90be2d#rd
如有侵权请联系:admin#unsafe.sh