bwt-scrapy-proxy-我对个人项目的简短描述。-Hennadii Dobrovolskyi

bwt-scrapy-proxy-我对个人项目的简短描述。-Hennadii Dobrovolskyi

发布:2020-12-23 10:27:19.986968

做者:Hennadii Dobrovolskyi

### 做者邮箱:gen.dobr@gmail.com

### 首页:https://github.com/gendobr/scrapyproxy

### 文档:None

### 下载连接

Подключение ротации прокси-серверов к проекту на scrapy

Подключение выполняется в Downloader Middleware.

Чтобы его подключить, надо

0) Инсталлировать pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy или pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy

0) в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить 'bwt_scrapy_proxy.ProxyRotationMiddleware':530

0) в settings.py добавить параметры X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001" X_BWT_PARSERNAME = "test" Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001

XBWTPARSERNAME = "test" - уникальный идентификатор парсера

0) в базу данных (таблица parsers) внести уникальный идентификатор парсера (параметр XBWTPARSERNAME из settings.py) и максимальное количество коннектов (parsers.threads_limit) Это делает админ БД парсеров.

Copy from pypi.org

查询时间：6.065ms

渲染时间：6.196ms

本文同步分享在 博客“zhenruyan”（other）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。