Python爬虫之异常重试的解决方案详解

你们在作数据抓取的时候，常常遇到因为网络问题致使的程序保存，先前只是记录了错误内容，并对错误内容进行后期处理。python 原先的流程：算法 def crawl_page(url): pass def log_error(url): pass url = "" try: crawl_page(url) except: log_error(url) 改进后的流程：网络 attempt

>>阅读原文<<