squid爬虫代理自动轮询转发

squid在作爬虫代理时候,咱们只须要作到一个squid代理,而后对其余代理作转发轮询,如何使用squid作代理并自动转发轮询?
加上这行代码:缓存

cache_peer 120.xx.xx.32 parent 80 0 no-query weighted-round-robin weight=2 connect-fail-limit=2 allow-miss max-conn=5 name=proxy-90

注意,当120.xx.xx.32 是相同 可是端口不一样的时候,必须设置不一样的name,不然会报错cache_peer 120.xx.xx.32 specified twice 这时候及得设置不一样的name
这一行的语法是这样的 cache_peer Web服务器地址 服务器类型 http端口 icp端口 [可选项], 可选项包括:服务器

proxy-only:指明从peer获得的数据在本地不进行缓存,缺省地,squid是要缓存这部分数据的;
weight=n:用于你有多个peer的状况,这时若是多于一个以上的peer拥有你请求的数据时,squid经过计算每一个peer的ICP响应时间来 决定其weight的值,而后squid向其中拥有最大weight的peer发出ICP请求。也即weight值越大,其优先级越高。固然你也能够手工 指定其weight值;
no-query:不向该peer发送ICP请求。若是该peer不可用时,可使用该选项;
Default:有点象路由表中的缺省路由,该peer将被用做最后的尝试手段。当你只有一个父代理服务器而且其不支持ICP协议时,可使用default和no-query选项让全部请求都发送到该父代理服务器;
login=user:password:当你的父代理服务器要求用户认证时可使用该选项来进行认证。
更新完成后保存重启squid,就会发现 squid 已经正常可用了。ui

相关文章
相关标签/搜索