关于coreseek分布式优化的心得

        近期运维发现搜索系统的内网流量常常超过百兆每秒，通过排查发现有时百度会批量抓取页面，致使页面上的相关内容搜索接口被大量调用，因为搜索系统各服务器之间作了分布式，因此大量的数据交换致使带宽几乎被占满。因而计划取消服务器之间分布式，经过互相拷贝索引数据后作单机多个实例作分布式。上线一台测试机后发现流量降得很低，可是平均负载比以前高出很多，经过vmstat命令发现cpu核心的使用数量很不均匀，常常从0跳到十几。缘由是作成分布式的时候，每次请求都会均匀的把查询请求分布到多台服务器，再加上服务器之间的数据传输、解包会花费必定的时间，致使cpu核的使用更均匀，并发低，变化也更平缓。而采用单机分布式，每次查询几乎没有缓冲的时间，一次请求就并发使用多个核心，请求未轮询到就是0，cpu使用率和变化率都很是不合理。

       最终采起了一部分本地，一部分远程的分布式配置方式，将内网传输流量和cpu核心使用调整到了一个相对合理状态。关于系统优化须要将各个方面综合考虑，调整宜缓不宜急。

转载请注明出处：https://my.oschina.net/u/554660/blog/edit/1305255