[Python知识库]创建分布式爬虫的步骤

1.在服务器上安装scrapyd ：pip3 install scrapyd?

2.从usr/local/lib/python3.5/dist-package/scrapyd拷贝出defalt_scrapyd.conf放到etc/scrapyd/scrapy.conf

3.修改etc/scrapyd/scrapy.conf下的bind_address 为本机地址

4.重新安装twisted

pip uninstall twisted \ pip install tweisted==18.9.0#默认版本太高intxxx的错误

5.在开发的电脑上安装 pip install scrapyd-client?

6.修改scrapy/script/scrapyd-deploy 改为scrapy-deploy.py

7.在项目中找到scrapy.cfg然后配置如下：

setting中修改 服务器地址

8.在目录的所在路径生成版本号： scrapyd-deploy default -p lianjia(为scrapy.cfg中的project项目名称)

9.下载curl安装打开bin/curl.exe

curl for Windows

10.在cmd中用命令发布爬虫

curl http:localhost:6800/schedule.json/ -d project=lianjia -d