SpiderKeeper 部署 Scrapy

安装环境

1
2
3
4

pip install scrapy
pip install scrapyd
pip install scrapyd-client
pip install spiderkeeper

启动 scrapyd

1

scrapyd

启动 spiderkeeper

1

spiderkeeper

配置 SpiderKeeper 发布 scrapy

1. 浏览器打开[http://localhost:5000/]

2. 点击 Create Project 创建项目

3. 上传项目Egg文件

生成Egg文件

1

scrapyd-deploy --build-egg output.egg

4.进入 Periodic jobs 添加 Job