5.8 安全性加固

Apache Hadoop 安全性加固实践指南

导语

在企业级大数据平台建设中，Apache Hadoop 集群安全性是数据治理与合规落地的核心环节。本文系统梳理 Hadoop 全链路安全加固体系，涵盖 Kerberos 身份认证、精细化权限控制（HDFS/Ranger/HBase）、传输与存储双加密（SSL/TLS + TDE）、审计日志与数据治理（Atlas/Knox）、安全通信与网络隔离 等关键实践。内容严格遵循生产环境部署规范，所有配置均经主流 Hadoop 版本（3.3.x/3.4.x）验证，可直接用于金融、政务、能源等高安全要求场景。

8.1 Hadoop 安全性加固体系概述

Hadoop 原生采用“信任网络”模型，缺乏开箱即用的安全机制。自 Hadoop 2.0 起引入 Hadoop Security Framework，通过可插拔架构支持企业级安全能力集成。完整的加固体系包含五大支柱：

⚠️ 重要前提：所有安全配置必须在集群离线维护窗口执行，并完成全链路功能验证。生产环境禁用 hadoop.security.authentication=simple。

8.2 身份认证加固

8.2.1 Kerberos 认证实施

Kerberos 是 Hadoop 生产环境唯一推荐的身份认证方案，通过票据（Ticket）机制实现服务间双向认证。

部署关键步骤

1. KDC 服务部署

   # RHEL/CentOS 环境
   yum install -y krb5-server krb5-workstation
   systemctl enable krb5kdc kadmin
   systemctl start krb5kdc kadmin
   ​

2. 核心配置文件 /etc/krb5.conf

   [libdefaults]
       default_realm = HADOOP.SECURE
       dns_lookup_realm = false
       dns_lookup_kdc = false
       ticket_lifetime = 24h
       renew_lifetime = 7d
       forwardable = true
       default_tgs_enctypes = aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96
       default_tkt_enctypes = aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96
   [realms]
       HADOOP.SECURE = {
           kdc = kdc.hadoop.secure
           admin_server = kdc.hadoop.secure
       }
   [domain_realm]
       .hadoop.secure = HADOOP.SECURE
       hadoop.secure = HADOOP.SECURE
   ​

3. Hadoop 服务主体（Principal）创建

   # 在 KDC 服务器执行
   kadmin.local -q "addprinc -randkey hdfs/namenode01.hadoop.secure@HADOOP.SECURE"
   kadmin.local -q "addprinc -randkey yarn/resourcemanager01.hadoop.secure@HADOOP.SECURE"
   kadmin.local -q "addprinc -randkey HTTP/namenode01.hadoop.secure@HADOOP.SECURE"
   
   # 生成 Keytab 文件（分发至对应节点）
   kadmin.local -q "ktadd -k /etc/security/keytabs/hdfs.service.keytab hdfs/namenode01.hadoop.secure@HADOOP.SECURE"
   kadmin.local -q "ktadd -k /etc/security/keytabs/yarn.service.keytab yarn/resourcemanager01.hadoop.secure@HADOOP.SECURE"
   kadmin.local -q "ktadd -k /etc/security/keytabs/spnego.service.keytab HTTP/namenode01.hadoop.secure@HADOOP.SECURE"
   ​

4. Hadoop 配置启用 Kerberos
   core-site.xml

   <property>
       <name>hadoop.security.authentication</name>
       <value>kerberos</value>
   </property>
   <property>
       <name>hadoop.security.authorization</name>
       <value>true</value>
   </property>
   ​

   hdfs-site.xml（NameNode）

   <property>
       <name>dfs.namenode.kerberos.principal</name>
       <value>hdfs/_HOST@HADOOP.SECURE</value>
   </property>
   <property>
       <name>dfs.namenode.keytab.file</name>
       <value>/etc/security/keytabs/hdfs.service.keytab</value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.principal</name>
       <value>HTTP/_HOST@HADOOP.SECURE</value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.keytab</name>
       <value>/etc/security/keytabs/spnego.service.keytab</value>
   </property>
   ​

8.2.2 应用层身份传递

客户端程序需通过 UserGroupInformation（UGI）完成票据认证：

Configuration conf = new Configuration();
conf.set("hadoop.security.authentication", "kerberos");
UserGroupInformation.setConfiguration(conf);

// 使用 keytab 登录（服务账户）
UserGroupInformation.loginUserFromKeytab(
    "hdfs/namenode01.hadoop.secure@HADOOP.SECURE", 
    "/etc/security/keytabs/hdfs.service.keytab"
);

// 或使用票据缓存（用户交互式登录）
UserGroupInformation.loginUserFromSubject(null);
​

✅ 最佳实践：生产环境禁用 loginUserFromSubject()，强制使用 loginUserFromKeytab() 实现无密码自动化认证。

8.3 权限控制与数据保护

8.3.1 HDFS 原生权限模型

HDFS 权限遵循 POSIX 模型（rwx），但需注意：

• 超级用户：hdfs 用户（由 dfs.superuser 配置指定）
• 继承规则：新建目录默认继承父目录 setgid 属性，文件权限为 644，目录为 755
• 权限检查顺序：Owner → Group → Others（不支持 ACL 继承）

# 启用严格权限检查（默认已启用）
hdfs dfs -chmod -R 750 /data/finance
hdfs dfs -chown -R finance:analysts /data/finance
hdfs dfs -chmod 1777 /tmp  # 启用 sticky bit 防止跨用户删除
​

8.3.2 Apache Ranger 统一授权管理

Ranger 提供基于策略的细粒度访问控制（PBAC），支持：

• 表级、列级、行级（通过 Hive/Impala 集成）
• 条件策略（IP、时间、用户属性）
• 审计日志实时推送至 Solr/Elasticsearch

关键配置步骤：

1. 在 core-site.xml 中启用 Ranger 插件：

   <property>
       <name>hadoop.security.authorization</name>
       <value>true</value>
   </property>
   <property>
       <name>ranger.plugin.hdfs.policy.rest.url</name>
       <value>http://ranger-admin:6080</value>
   </property>
   <property>
       <name>ranger.plugin.hdfs.service.name</name>
       <value>hadoop-prod</value>
   </property>
   ​

2. Ranger Admin 控制台创建策略：

   • 资源路径：/data/finance/*
   • 用户/组：finance-analysts
   • 权限：Read, Execute（禁止 Write/Delete）
   • 条件：Source IP in 10.10.20.0/24

8.3.3 HBase 访问控制

HBase ACL 通过 AccessController 协处理器实现，支持表、列族、单元格级授权：

# HBase Shell 授权示例
grant 'data-scientist', 'R', 'customer_profiles'
grant 'etl-service', 'RW', 'customer_profiles', {COLUMN => 'cf:pii'}
revoke 'temp-user', 'W', 'customer_profiles'

# 启用 ACL（hbase-site.xml）
<property>
    <name>hbase.coprocessor.master.classes</name>
    <value>org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
<property>
    <name>hbase.coprocessor.region.classes</name>
    <value>org.apache.hadoop.hbase.security.access.AccessController</value>
</property>
​

8.4 数据加密实践

8.4.1 传输加密（SSL/TLS）

启用所有 RPC 通信加密：
core-site.xml

<property>
    <name>hadoop.ssl.enabled</name>
    <value>true</value>
</property>
<property>
    <name>hadoop.ssl.require.client.cert</name>
    <value>false</value> <!-- 生产环境建议设为 true -->
</property>
​

ssl-server.xml（服务端）

<property>
    <name>ssl.server.truststore.location</name>
    <value>/etc/hadoop/conf/ssl/keystore.jks</value>
</property>
<property>
    <name>ssl.server.keystore.location</name>
    <value>/etc/hadoop/conf/ssl/keystore.jks</value>
</property>
​

8.4.2 静止数据加密（TDE）

HDFS 透明数据加密（Transparent Data Encryption）通过加密区（Encryption Zone）实现：

# 1. 创建加密密钥（需 KMS 服务）
hadoop key create myKey --size 256

# 2. 创建加密区
hdfs crypto -createZone -keyName myKey -path /secure/finance

# 3. 验证加密区状态
hdfs crypto -listZones

# 4. 写入数据自动加密
hdfs dfs -put local_data.csv /secure/finance/
​

🔐 密钥安全要求：KMS 必须部署在独立高安全域，密钥轮换周期 ≤ 90 天，审计日志保留 ≥ 180 天。

8.5 审计与数据治理

8.5.1 HDFS 审计日志配置

启用全操作审计（含失败请求）：
hdfs-site.xml

<property>
    <name>dfs.namenode.audit.loggers</name>
    <value>INFO,DRFAAUDIT</value>
</property>
<property>
    <name>dfs.namenode.audit.log.level</name>
    <value>ALL</value>
</property>
<property>
    <name>dfs.namenode.audit.log.async</name>
    <value>true</value>
</property>
​

日志格式示例：

2023-10-05 14:22:31,123 AUDIT  [IPC Server handler 2 on 8020] 
allowed=true ugi=hadoop-user@HADOOP.SECURE (auth:KERBEROS) 
ip=/10.10.20.15 cmd=getfileinfo src=/data/finance/report.csv 
dst=null perm=null proto=rpc
​

8.5.2 Apache Atlas 数据血缘审计

Atlas 与 Ranger 集成后，可实现：

• 自动捕获 HDFS 文件读写、Hive 表查询、Spark 作业血缘
• 生成敏感数据（PII/PCI）访问热力图
• 与 SIEM 系统（如 Splunk）对接告警

配置要点：

• 启用 atlas.hook.hdfs 和 atlas.hook.hive
• 设置 atlas.kafka.bootstrap.servers 指向 Kafka 集群
• 在 Ranger 策略中启用 Audit to Atlas

8.6 网络与通信安全

8.6.1 防火墙策略（iptables）

最小化端口暴露原则：

# 仅允许管理网段访问 Web UI 与 RPC 端口
iptables -A INPUT -s 10.10.10.0/24 -p tcp --dport 9870 -j ACCEPT  # NameNode UI
iptables -A INPUT -s 10.10.10.0/24 -p tcp --dport 8088 -j ACCEPT   # YARN UI
iptables -A INPUT -s 10.10.10.0/24 -p tcp --dport 8020 -j ACCEPT   # NameNode RPC
iptables -A INPUT -s 10.10.10.0/24 -p tcp --dport 8032 -j ACCEPT   # ResourceManager RPC

# 拒绝所有其他入站连接
iptables -A INPUT -j DROP
​

8.6.2 服务网格增强（可选）

在 Kubernetes 环境部署 Hadoop 时，推荐通过 Istio 实现：

• mTLS 全链路加密
• 基于服务身份的细粒度网络策略
• 流量镜像与异常检测

8.7 安全加固检查清单

总结

Apache Hadoop 安全性加固不是单一配置任务，而是覆盖身份、权限、加密、审计、网络五维的持续治理过程。成功实践的关键在于：

• 以 Kerberos 为信任根，杜绝明文凭证与简单认证；
• 以 Ranger 为统一策略中枢，替代碎片化 ACL 管理；
• 以 TDE+SSL 为数据护盾，实现静止与传输数据全生命周期加密；
• 以 Atlas+Audit Log 为治理视图，满足等保2.0、GDPR 等强监管审计要求；
• 以最小权限与网络隔离为防线，遵循零信任架构原则。

📌 最终交付物：安全加固后集群必须通过 CIS Hadoop Benchmark v2.0 全项扫描，关键项（如 Kerberos 启用、审计日志开启、TDE 加密区部署）失败率需为 0%。