9.3.2日志的存储与索引

文档摘要

9.3.2 日志的存储与索引处理日志本来是件稀松平常的事情，但数据规模的影响下，量变引发质变，日志处理成为典型的大数据场景之一：高吞吐写入（GB/s）、低成本海量存储（PB 级别）、亿级数据量实时检索（1s 内）。本节，笔者将从日志存储与分析的角度，介绍三种各具特色的日志系统方案：Elastic Stack（全文索引）、Loki（仅索引元数据）和 ClickHouse（列式数据库）。全文索引方案 Elastic Stack 在讨论如何实现一套完整的日志系统时，工程师们或多或少听说过以下几个名词：ELK、ELKB 或 Elastic Stack。实际上，它们指的是同一套用于日志处理的开源组件。