分布式任务队列与任务调度系统Celery进阶——分布式爬虫

新建文件crawlertask.py，用于执行数据抓取任务，代码以下。python #coding:utf-8 from celery import Celery,platforms import requests from bs4 import BeautifulSoup app=Celery('tasks',broker='redis://localhost:6379/0') app.conf

>>阅读原文<<