docker+scrapy-splash+代理池的方法
看了很多网站都没有把这种方法说透，自己摸索了一天，终于明白了如何在docker环境下对scrapy-splash搭代理池。
根据scrapy官方文档对挂代理的描述 ，应该在本地创建这样一个文件夹my-proxy-profiles-dir，然后在该文件夹内放上你的代理文件，如果是代理池 那就多个文件。
docker run -p 8050:8050 \
-v <my-proxy-profiles-dir>:/etc/splash/proxy-profiles \
scrapinghub/splash
例如 ，我在桌面创建了一个叫proxy的文件夹，里面有proxy1,proxy2…proxy10等，那么上面的命令就应该是
docker run -p 8050:8050 \
-v <C:\Users\hhh\Desktop\proxy>:/etc/splash/proxy-profiles \
scrapinghub/splash
然后proxy的格式应该是下面的，host，prot就是你买的代理的ip和端口，下面就是账号密码，还有类型是http还是SOCK5，这些搞对就可以了
[proxy]
; required
host=proxy.crawlera.com
port=8010
; optional, default is no auth
username=username
password=password
; optional, default is HTTP. Allowed values are HTTP and SOCKS5
type=HTTP
[rules]
; optional, default ".*"
whitelist=
.*mywebsite\.com.*
; optional, default is no blacklist
blacklist=
.*\.js.*
.*\.css.*
.*\.png
这样代理池就搭好了，那么如何使用这些代理呢，首先是scrapy的settings ，加上如下的命令
SPLASH_URL = 'http://localhst:8050'
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
SPIDER_MIDDLEWARES = {
'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
然后就是这个DOWNLOADER_MIDDLEWARES，记得加上你自己的下载中间件，他的优先级是724还是大于725的你自己去测一下，我电脑不在身边忘记了，然后在你的下载中间件里面的process_request函数加上这么一段
def process_request(self, request, spider):
if request.meta.get('splash'):
request.meta['splash']['args']['proxy']=self.select_proxy_for_splash()
else：
request.meta['proxy']=self.select_proxy()
这段代码含义如下：
如果当前的request请求含有splash，说明他是个带有splash的请求，他的代理应该是在[‘splash’][‘args’][‘proxy’]方法里，self.select_proxy_for_splash()的返回的应该是上面说的proxy1的文件名，因此可以把这些放在数据库里，每次去查库随机出来一个，这样代理池好维护，否则按scrapy的方法来。
好了 这样代理池就搭好了，如果有什么写的不对的地方，欢迎各位批评指正
|