第7章 运维与实战：让落点长期保持健康

第 7 章 · 运维与实战：让落点长期保持健康

章节摘要：前六章讲的是一行数据"怎么落下去"，本章讲的是它"落下去之后的漫长余生"。集群每天都会发生 Compaction 抖动、Region 迁移、磁盘老化、误操作，运维的价值就是让数据的落点分布长期健康。本章先建监控指标体系与调优抓手，再讲扩缩容和备份恢复，然后给一张故障排查决策树，最后用时序数据与用户画像两个综合案例把全册知识收拢成可复用的方案。

学习目标

阅读完本章，你应当能够：

1. 说出 HBase 监控的四层指标（系统、JVM、HBase、表设计）与每层的代表指标，并搭起 Prometheus 采集；
2. 按瓶颈位置（CPU、GC、IO、网络、热点 Region）选择对应的调优参数，而不是盲调；
3. 执行一次安全的扩容与缩容（draining 迁移），并用快照、Export、复制三种手段设计备份体系；
4. 拿着故障排查决策树，从"写入变慢"这类模糊症状逐步收敛到根因；
5. 独立完成时序数据存储（加盐、宽窄表取舍）与用户画像表（宽窄表、标签版本）的设计与代码落地。

核心概念速览

运维的本质是回答三个问题：落点现在健康吗（监控）、落点要变了怎么办（变更与恢复）、落点已经出事了怎么救（排查）。

图 7-1 一行数据的运维全周期：从写入到归档的六个观察窗口

子章节导航

7.1 监控与调优

指标四层体系（系统、JVM、HBase、表设计）、Prometheus 采集链路、JMX 与 Web UI 的现场观测，以及按瓶颈位置选参数的调优方法论。

7.2 扩缩容与备份恢复

扩容的本地性代价与均衡器、缩容的 draining 流程，快照的秒级备份原理，Export 与复制组成的多层备份体系。

7.3 常见故障排查

从写入变慢、读取抖动、RegionServer 宕机到 ZooKeeper 异常，一张决策树把模糊症状收敛到根因，附真实日志片段对照。

7.4 实战案例：时序数据与用户画像

两个完整方案：时序表的加盐与宽窄表取舍、画像表的标签版本与读写路径，均含可运行的代码与落点分析。

子章节之间的逻辑关系

观测是前提（7.1 没有指标 一切调优都是猜）
变更与恢复是日常（7.2 扩缩容改落点 备份保底线）
应急靠前两者积累（7.3 决策树的每一步都要看指标）
实战是总装（7.4 两个案例同时用到 1 至 6 章全部机制）
​

四节是递进关系：先有观测，才谈得上变更与应急；前五节的机制理解到位，实战案例里的每个设计决策才不是死记硬背。

前置知识与后续延伸

• 前置：第 2、3 章的写入与读路径（调优参数全部对应机制名词）；第 5 章的 RowKey 设计（热点排查的地基）。
• 为后续铺垫：本章是全册收尾；读完想继续深挖，方向有三个——读 HBase 源码中的 Compaction 调度、研究云托管 HBase 的托管策略、或转向同源思想的开源时序数据库对比选型。