爬虫实战8—分布式系统的高可用与高并发处理

文章说明：本文是在学习一个网络爬虫课程时所做笔记，文章如有不对的地方，欢迎指出，积极讨论。 墨菲定律： 1）任何事情没有看起来那么简单 2）所有的事情都会比你预计的时间长 3）可能出错的事情会出错 4）如果你担心某种情况会发生，那么他一般会发生 应对高并发的基本思路（利用机器换内存）： 1、加快单机的速度，例如使用redis，提高数据访问频率；增加CPU的内核数，增大内存； 2、增加服务器的数量，

>>阅读原文<<