第6章 保障数据之旅：集群运维

第 6 章 · 保障数据之旅：集群运维

章节摘要：数据旅程要长期运转，靠的是规划、监控、安全、备份四件运维大事。本章从集群硬件选型与上线讲起，建立指标体系与性能调优方法论，配置 Kerberos 安全体系，最后覆盖备份恢复与滚动升级——每一节都对应前五章某个机制的运营化落地。

学习目标

阅读完本章，你应当能够：

1. 完成容量估算与主从角色分布的集群规划，避免几类典型布局错误；
2. 搭建监控指标体系，从 NameNode/RM/NodeManager 三个层面读出健康状态；
3. 按瓶颈定位流程（CPU、内存、IO、网络四查）执行性能调优；
4. 理解 Kerberos 三次握手并完成 Hadoop 集群的安全启用；
5. 制定元数据与关键数据的备份策略，执行恢复演练与滚动升级。

核心概念速览

运维的本质是把前五章的每个机制，变成可持续观测与可控操作的对象。

子章节导航

6.1 集群规划与部署

容量估算公式、角色布局原则、上线检查清单。

6.2 监控与性能调优

指标体系、四查定位法、YARN 与 HDFS 的核心调优参数。

6.3 集群安全管理

Kerberos 原理与握手、Hadoop 安全启用步骤、权限分层。

6.4 备份恢复与升级维护

元数据备份、数据备份策略、恢复演练、滚动升级流程。

子章节之间的逻辑关系

四节是运维生命周期的时间轴，也是故障因果链的逆向：

[6.1 规划上线] ──出生──▶ [6.2 监控调优] ──日常──▶ [6.3 安全] ──加固──▶ [6.4 备份升级]
   防患于未然        早发现早定位        最坏情况预案        兜底与演进
​

前置知识与后续延伸

• 前置：第 2 章 NameNode 内存账（规划容量）、第 4 章资源分配（调优对象）、第 5 章 HBase 共置（规划布局）。
• 为后续铺垫：第 7 章讨论上云与演进，决策依据正是本章的运维成本账。

一个贯穿本章的账本视角

运维四章看似琐碎，背后其实是同一本账：规划章算"建设成本账"（多少机器、什么比例），监控调优章算"运行效率账"（瓶颈在哪、参数怎么省），安全章算"风险敞口账"（数据资产值多少、暴露面多大），备份升级章算"最坏情况账"（丢一天数据赔多少、停机一小时赔多少）。工程师与优秀平台工程师的差别，往往不在于会不会敲命令，而在于是否随时知道这几页账的当前余额。读完本章，建议你给自己所在的系统（哪怕只是测试集群）各算一遍——算不出来的地方，就是你理解的盲区。