python实用技巧任务切分

今天来说说，Python中的任务切分。以爬虫为例，从一个存 url 的 txt 文件中，读取其内容，我们会获取一个 url 列表。我们把这一个 url 列表称为大任务。 列表切分 在不考虑内存占用的情况下，我们对上面的大任务进行一个切分。比如我们将大任务切分成的小任务是每秒最多只访问5个URL。 import os  import time  CURRENT_DIR = os.path.dirna

>>阅读原文<<