####################
免责声明:工具本身并无好坏,希望大家以遵守《网络安全法》相关法律为前提来使用该工具,支持研究学习,切勿用于非法犯罪活动,对于恶意使用该工具造成的损失,和本人及开发者无关。
####################
Crawlab介绍
Crawlab是一款基于Celery的爬虫分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架。
Crawlab的架构跟Celery非常相似,但是加入了包括前端、爬虫、Flower在内的额外模块,以支持爬虫管理的功能。
Crawlab安装
# 安装后台类库
pip install -r requirements.txt
# 安装前台类库
cd frontend
npm install
更改配置文件config.py
,配置API和数据库连接。
# 运行服务
python manage.py serve
https://github.com/tikazyq/crawlab
文章来源: http://mp.weixin.qq.com/s?__biz=MzUyMTA0MjQ4NA==&mid=2247545818&idx=2&sn=51c832384e409f02528229494ab86ff2&chksm=f9e35c81ce94d597e5ff6da0c2dfa0e2aaeca367df61d306da04f77bb94702d86e9e3f90be2d#rd
如有侵权请联系:admin#unsafe.sh