日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算 (ETL/Stream Processing)、数据仓库对接(Data Warehouse)、日志实时查询与分析。
云起实验室日志服务体验(活动期完成有机会参与100%中奖):https://developer.aliyun.com/adc/series/activity/sls-1
数据采集与消费
通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括Metric、Event、BinLog、TextLog、Click等)。
方案优势:
使用便捷:提供50+实时数据采集方式,让您快速搭建平台;强大配置管理能力,减轻运维负担。 弹性伸缩:无论是流量高峰还是业务增长都能轻松应对。 图 1. 数据采集与消费
数据清洗与流计算 (ETL/Stream Processing)
日志中枢(LogHub)支持与各种实时计算及服务对接,并提供完整的进度监控,报警等功能,并可以根据SDK/API实现自定义消费。
操作便捷:提供丰富SDK以及编程框架,与各流计算引擎无缝对接。 监控报警:提供丰富监控数据,以及延迟报警机制。 弹性伸缩:PB级弹性能力,0延迟。 图 2. 数据清洗与流计算
数据仓库对接(Data Warehouse)
日志投递(LogShipper)功能可以将日志中枢(LogHub)中数据投递至存储类服务,过程支持压缩、自定义Partition、以及行列等各种存储格式。
海量数据:对数据量不设上限。 种类丰富:支持行、列、TextFile等各种存储格式。 配置灵活:支持用户自定义Partition等配置。 图 3. 数据仓库对接
日志实时查询与分析
实时查询分析(LogAnalytics)可以实时索引LogHub中数据,提供关键词、模糊、上下文、范围、SQL聚合等丰富查询手段。
实时性强:写入后即可查询。 海量低成本:支持PB/Day索引能力,成本为自建方案15%。 分析能力强:支持多种查询手段,及SQL进行聚合分析,并提供可视化及报警功能。 图 4. 日志实时查询与分析
|