2020最新最全Python面试题整理（五）

1 描述一下scrapy框架的运行机制？ 从start_urls里面获取第一批url发送请求，请求由请求引擎给调度器入请求对列，获取完毕后，调度器将请求对列交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理，如果提取出需要的数据，则交给管道处理，如果提取出url，则继续执行之前的步骤，直到多列里没有请求，程序结束。 2 写爬虫使用多进程好，还是用多线程好？ IO密集型代码

>>阅读原文<<