阿里云日志服务的架构与优点

关于阿里云日志服务使用教程详细内容：阿里云日志服务使用教程

Logtail

帮助您快速收集日志的Agent。其特色以下所示：

基于日志文件、无侵入式的收集日志
只读取文件。
日志文件无侵入。
安全、可靠
支持文件轮转不丢失数据。
支持本地缓存。
网络异常重试。
方便管理
Web端操做。
可视化配置。
完善的自我保护
实时监控进程CPU、内存消耗。
限制使用上限。
前端服务器

采用LVS + Nginx构建的前端机器。其特色以下所示：

HTTP、REST协议
水平扩展
流量上涨时可快速提升处理能力。
支持增长前端机。
高吞吐、低延时
纯异步处理，单个请求异常不会影响其余请求。
内部采用专门针对日志的Lz4压缩，提升单机处理能力，下降网络带宽。
后端服务器

后端是分布式的进程，部署在多个机器上，完成实时对Logstore数据的持久化、索引、查询以及投递至MaxCompute。总体后端服务的特色以下所示：

数据高安全性 :
您写入的每条日志，都会被保存3份。
任意磁盘损坏、机器宕机状况下，数据自动复制修复。
稳定服务：
进程崩溃和机器宕机时，Logstore会自动迁移。
自动负载均衡，确保无单机热点。
严格的Quota限制，防止单个用户行为异常对其余用户产生影响。
水平扩展：
以分区（Shard）为单位进行水平扩展。
用户能够按需动态增长分区来增长吞吐量。
产品优点：
全托管服务

应用性强，5分钟便可接入服务进行使用，Agent支持任意网络下数据采集。
LogHub覆盖Kafka 100%功能，提供完整监控、报警等功能数据，并支持弹性伸缩（可支持PB/Day规模），使用成本为自建50%如下。
LogSearch/Analytics 提供快速查询、仪表盘和报警功能，使用成本为自建 20%如下。
0+接入方式，与云产品 （OSS/E-MapReduce/MaxCompute/Table Store/MNS/CDN/ARMS等）、开源软件（Storm、Spark）无缝对接。
生态丰富

LogHub 支持30+采集端，包括Logstash、Fluent等，不管是嵌入式设备，网页，服务器，程序等都能轻松接入。在消费端，支持与Storm、Spark Streaming、云监控等对接。
LogShipper 支持丰富数据格式（TextFile、SequenceFile、Parquet等），支持自定义Partition，数据能够直接被Presto、Hive、Spark、Hadoop、E-MapReduce、MaxCompute、HybridDB等处理。
LogSearch/Analytics 查询分析语法完整、兼容SQL9二、支持JDBC协议与Grafana对接。
实时性强

LogHub：写入便可消费；Logtail（采集Agent）实时采集传输，1秒内到服务端（99.9%状况）。
LogSearch/Analytics：写入便可查询分析，在多个查询条件下1秒可查询10亿级数据，多个聚合条件下1秒可分析1亿级数据。
完整API/SDK

轻松支持自定义管理及二次开发。
全部功能都可经过API/SDK实现，提供多种语言SDK，可轻松管理服务和百万级设备。
查询分析语法简单便捷，兼容SQL92；接口友好、适合与生态软件对接，提供Grafana对接方案。
更多精品课程：

阿里云大学官网——云生态下的创新人才工场