Python学习之多进程并发爬虫

之前作过Python的爬虫,不过那只爬取贴吧内容,比较简单,只是用来刚开始练练手的。这段时间又从新看Python,看到了正则表达式,因而想对爬虫再深刻的了解下,主要是对爬虫的线程以及进程学习。html 爬虫是io密集型,因此使用多线程会提升效率,可是懂点Python的人都知道,gil的存在致使Python的多线程有点坑,这里简单的介绍下gil。 Gil 是全局解释器锁,为了数据的安全。而在Pyth
相关文章
相关标签/搜索