日志采集之日志采集的挑战

目前大型互联网企业每天日志量以亿为单位，面临的挑战已经不是采集的技术本身，而是如何实现日志数据的结构化。构建规范制定–元数据注册–日志采集–自动化计算–可视化展现的一体化系统 场景一：日志分流 1）当代互联网经常出现短时间内流量热点爆发，集中统一的采集方案已不能满足需求。 2）在日志解析和处理的过程中必须考虑以下几点： ①业务分流：要求分离的业务之间没有明显影响，爆发热点不影响日常业务处理 ②日志

>>阅读原文<<