6.3 Hadoop 集群安全管理

文档摘要

6.3 Hadoop 集群安全管理 6.3 Hadoop 集群安全管理随着大数据技术的飞速发展，Hadoop 作为大数据生态系统的核心组件，被广泛应用于各个行业。Hadoop 集群存储和处理着海量的数据，其中可能包含企业的核心商业机密和用户的敏感信息。因此，Hadoop 集群的安全管理至关重要。一旦 Hadoop 集群的安全防线被攻破，将会导致严重的数据泄露、服务中断甚至经济损失。 6.3.1 Hadoop 安全概述 Hadoop 的安全目标主要围绕 CIA 三元组展开：保密性 (Confidentiality): 确保数据只能被授权用户访问，防止未经授权的数据泄露。完整性 (Integrity): 确保数据在存储和传输过程中不被篡改，维护数据的准确性和可靠性。

6.3 Hadoop 集群安全管理

随着大数据技术的飞速发展，Hadoop 作为大数据生态系统的核心组件，被广泛应用于各个行业。Hadoop 集群存储和处理着海量的数据，其中可能包含企业的核心商业机密和用户的敏感信息。因此，Hadoop 集群的安全管理至关重要。一旦 Hadoop 集群的安全防线被攻破，将会导致严重的数据泄露、服务中断甚至经济损失。

6.3.1 Hadoop 安全概述

Hadoop 的安全目标主要围绕 CIA 三元组展开：

保密性 (Confidentiality): 确保数据只能被授权用户访问，防止未经授权的数据泄露。
完整性 (Integrity): 确保数据在存储和传输过程中不被篡改，维护数据的准确性和可靠性。
可用性 (Availability): 确保授权用户可以随时访问所需的数据和服务，防止拒绝服务攻击和系统故障。

Hadoop 默认安全机制相对薄弱，容易受到多种安全威胁，例如：

未授权访问: 攻击者未经授权访问 Hadoop 集群，窃取或篡改数据。
中间人攻击: 攻击者拦截 Hadoop 组件之间的通信，窃取敏感信息。
拒绝服务攻击 (DoS): 攻击者通过大量请求或恶意操作，导致 Hadoop 服务不可用。
内部威胁: 恶意或疏忽的内部用户可能泄露或破坏数据。
数据泄露: 敏感数据在存储或传输过程中被泄露。

为了应对这些安全威胁，Hadoop 提供了多种安全机制，包括 Kerberos 身份认证、访问控制列表 (ACLs)、数据加密、审计日志等。我们需要根据实际业务需求和安全风险评估，合理配置和组合这些安全机制，构建多层次的安全防护体系。

6.3.2 身份认证 (Authentication)

身份认证是安全管理的第一道防线，用于验证用户或服务是否是其声称的身份。在 Hadoop 集群中，最常用的身份认证机制是 Kerberos。

6.3.2.1 Kerberos 认证机制

Kerberos 是一种网络认证协议，它使用密钥分发中心 (Key Distribution Center, KDC) 来进行身份验证。Kerberos 认证过程主要包括以下步骤：

认证请求 (Authentication Service, AS_REQ): 客户端向 Kerberos 认证服务器 (AS) 发送认证请求，请求获取票据授予票据 (Ticket Granting Ticket, TGT)。客户端需要提供自己的身份信息（例如用户名）。
票据授予票据颁发 (AS_REP): AS 验证客户端身份后，会颁发 TGT 给客户端。TGT 包含客户端的身份信息和会话密钥，并使用客户端的密钥加密。
服务请求 (TGS_REQ): 客户端使用 TGT 向票据授予服务 (Ticket Granting Service, TGS) 发送服务请求，请求访问特定服务的票据 (Service Ticket)。客户端需要指定要访问的服务主体 (Service Principal)。
服务票据颁发 (TGS_REP): TGS 验证 TGT 和客户端请求的服务主体后，会颁发服务票据给客户端。服务票据用于访问目标服务，并使用服务主体的密钥加密。
服务访问请求 (AP_REQ): 客户端携带服务票据向目标服务发送访问请求。
服务访问授权 (AP_REP): 目标服务验证服务票据后，允许客户端访问。

Kerberos 关键概念:

主体 (Principal): Kerberos 认证的身份，可以是用户主体 (User Principal) 或服务主体 (Service Principal)。例如 alice@EXAMPLE.COM 是用户主体，hdfs/namenode@EXAMPLE.COM 是 HDFS NameNode 的服务主体。
密钥分发中心 (KDC): Kerberos 的核心组件，包括认证服务器 (AS) 和票据授予服务 (TGS)。KDC 负责管理主体和密钥，颁发 TGT 和服务票据。
票据 (Ticket): 用于身份验证的凭证，包括 TGT 和服务票据。票据包含身份信息、会话密钥和有效期，并使用密钥加密。
密钥表 (Keytab): 包含服务主体密钥的文件，用于服务自动认证。

6.3.2.2 Hadoop Kerberos 配置

要在 Hadoop 集群中启用 Kerberos 认证，需要进行以下配置：

安装和配置 Kerberos KDC: 搭建 Kerberos KDC 服务器，并配置 realm (例如 EXAMPLE.COM)。
创建 Hadoop 服务主体和用户主体: 在 KDC 中为 Hadoop 组件 (例如 NameNode, DataNode, ResourceManager) 创建服务主体，并为 Hadoop 用户创建用户主体。
生成密钥表文件: 为每个服务主体生成密钥表文件，并分发到对应的服务器。
配置 Hadoop 组件: 修改 Hadoop 配置文件 (例如 core-site.xml, hdfs-site.xml, yarn-site.xml)，启用 Kerberos 认证，并指定密钥表文件路径和主体名称。

代码实践：配置 core-site.xml 启用 Kerberos 认证


<configuration>
  <property>
    <name>hadoop.security.authentication</name>
    <value>kerberos</value>
  </property>
  <property>
    <name>hadoop.security.authorization</name>
    <value>true</value>
  </property>
  <property>
    <name>hadoop.kerberos.realm</name>
    <value>EXAMPLE.COM</value>
  </property>
  <property>
    <name>hadoop.security.krb5.conf.path</name>
    <value>/etc/krb5.conf</value>
  </property>
</configuration>

代码实践：配置 hdfs-site.xml 启用 NameNode 和 DataNode 的 Kerberos 认证


<configuration>
  <property>
    <name>dfs.namenode.kerberos.principal</name>
    <value>hdfs/_HOST@EXAMPLE.COM</value>
  </property>
  <property>
    <name>dfs.namenode.kerberos.keytab.file</name>
    <value>/etc/security/keytabs/hdfs.service.keytab</value>
  </property>
  <property>
    <name>dfs.datanode.kerberos.principal</name>
    <value>hdfs/_HOST@EXAMPLE.COM</value>
  </property>
  <property>
    <name>dfs.datanode.kerberos.keytab.file</name>
    <value>/etc/security/keytabs/hdfs.service.keytab</value>
  </property>
  <property>
    <name>dfs.secondary.namenode.kerberos.principal</name>
    <value>hdfs/_HOST@EXAMPLE.COM</value>
  </property>
  <property>
    <name>dfs.secondary.namenode.kerberos.keytab.file</name>
    <value>/etc/security/keytabs/hdfs.service.keytab</value>
  </property>
</configuration>

说明:

hadoop.security.authentication=kerberos: 启用 Kerberos 认证。
hadoop.security.authorization=true: 启用授权检查。
hadoop.kerberos.realm=EXAMPLE.COM: Kerberos realm 名称。
hadoop.security.krb5.conf.path=/etc/krb5.conf: Kerberos 配置文件路径。
dfs.namenode.kerberos.principal, dfs.datanode.kerberos.principal, dfs.secondary.namenode.kerberos.principal: NameNode, DataNode, Secondary NameNode 的服务主体名称。_HOST 会被替换为实际的主机名。
dfs.namenode.kerberos.keytab.file, dfs.datanode.kerberos.keytab.file, dfs.secondary.namenode.kerberos.keytab.file: NameNode, DataNode, Secondary NameNode 的密钥表文件路径。

完成配置后，需要重启 Hadoop 集群组件，使 Kerberos 认证生效。用户需要使用 kinit 命令获取 Kerberos TGT 才能访问 Hadoop 集群。

6.3.3 授权 (Authorization)

授权是指在用户身份认证通过后，进一步控制用户对 Hadoop 集群资源的访问权限。Hadoop 提供了多种授权机制，包括访问控制列表 (ACLs)、Apache Ranger 和 Apache Sentry。

6.3.3.1 访问控制列表 (ACLs)

访问控制列表 (ACLs) 是一种细粒度的授权机制，可以为 HDFS 文件和目录设置权限。Hadoop ACLs 支持三种类型的权限：

用户 (User): 特定用户的权限。
组 (Group): 特定用户组的权限。
其他 (Other): 所有其他用户的权限。

每种权限类型可以设置以下操作权限：

读 (Read, r): 允许读取文件或列出目录。
写 (Write, w): 允许写入文件或在目录中创建文件。
执行 (Execute, x): 允许执行文件或访问目录（对于目录，执行权限表示可以进入该目录）。

代码实践：使用 hdfs dfs -setfacl 命令设置 HDFS ACLs


# 设置用户 alice 对 /data 目录拥有读写执行权限
hdfs dfs -setfacl -m user:alice:rwx /data
# 设置组 developers 对 /data 目录拥有读写权限
hdfs dfs -setfacl -m group:developers:rw- /data
# 设置其他用户对 /data 目录拥有只读权限
hdfs dfs -setfacl -m other::r-- /data
# 查看 /data 目录的 ACLs
hdfs dfs -getfacl /data
# 删除用户 alice 对 /data 目录的 ACLs
hdfs dfs -setfacl -x user:alice /data

说明:

-setfacl: 设置 ACLs 的命令。
-m: 修改 ACLs，可以添加或修改 ACL 条目。
-x: 删除 ACLs，可以删除指定的 ACL 条目。
user:alice:rwx: 用户 ACL 条目，指定用户 alice 拥有读写执行权限。
group:developers:rw-: 组 ACL 条目，指定组 developers 拥有读写权限。
other::r--: 其他用户 ACL 条目，指定其他用户拥有只读权限。

6.3.3.2 Apache Ranger

Apache Ranger 是一个集中式的安全管理平台，提供了全面的 Hadoop 安全管理功能，包括身份认证、授权、审计和数据脱敏。Ranger 支持对多种 Hadoop 组件 (例如 HDFS, YARN, Hive, HBase, Kafka) 进行细粒度的权限控制。

Ranger 主要功能:

集中式策略管理: 通过 Ranger Web UI 统一管理所有 Hadoop 组件的安全策略。
细粒度授权: 支持基于用户、组、角色、资源 (例如 HDFS 路径、Hive 表、Kafka Topic) 和操作类型的权限控制。
策略评估: 高效的策略评估引擎，可以快速判断用户是否有权限访问资源。
审计日志: 详细的审计日志记录所有权限访问事件，方便安全审计和合规性检查。
数据脱敏 (Masking): 支持对敏感数据进行脱敏处理，保护数据隐私。

Ranger 架构:

Ranger 授权流程:

用户或应用向 Hadoop 组件发送访问请求。
Hadoop 组件的 Ranger 插件拦截访问请求，并向 Ranger Admin 发送权限检查请求。
Ranger Admin 根据配置的策略评估用户是否有权限访问该资源。
Ranger Admin 将授权结果返回给 Ranger 插件。
Ranger 插件根据授权结果决定是否允许用户访问。
Ranger Audit 记录所有权限访问事件。

Ranger 策略配置 (示例):

通过 Ranger Web UI，可以创建和管理安全策略。例如，可以创建一个 HDFS 策略，允许用户组 data_scientists 对 HDFS 路径 /user/data_scientists 拥有读写权限。

6.3.3.3 Apache Sentry (已废弃)**

Apache Sentry 是 Cloudera 开发的授权框架，主要用于提供对 Hadoop SQL 服务 (例如 Hive, Impala) 的细粒度权限控制。Sentry 已经被 Apache Ranger 取代，不建议在新项目中使用。

6.3.4 数据保密性 (Data Confidentiality)

数据保密性是指保护数据不被未经授权的访问。在 Hadoop 集群中，可以通过数据加密技术来提高数据保密性，包括静态数据加密 (Encryption at Rest) 和传输中数据加密 (Encryption in Transit)。

6.3.4.1 静态数据加密 (Encryption at Rest)

静态数据加密是指对存储在 Hadoop 集群中的数据进行加密，防止数据在存储介质上被泄露。Hadoop 提供了 HDFS 加密区域 (Encryption Zones) 和透明加密 (Transparent Encryption) 两种静态数据加密方案。

HDFS 加密区域 (Encryption Zones): 允许管理员为 HDFS 目录创建加密区域，加密区域中的所有文件和子目录都会自动加密。加密区域使用密钥管理服务器 (Key Management Server, KMS) 来管理加密密钥。
透明加密 (Transparent Encryption): 是一种更通用的加密方案，可以应用于 HDFS, YARN 和 MapReduce 等多个 Hadoop 组件。透明加密对应用程序透明，应用程序无需修改即可使用加密数据。

代码实践：创建 HDFS 加密区域

配置 KMS: 搭建和配置 KMS 服务器 (例如 Apache Knox KMS)。
创建加密密钥: 在 KMS 中创建加密密钥。
创建加密区域: 使用 hdfs crypto 命令创建加密区域，并指定加密密钥。


# 假设 KMS URI 为 http://kms.example.com:9600/kms
# 假设已经创建了密钥 mykey
# 创建加密区域 /secure_data，使用密钥 mykey
hdfs crypto -createZone -keyName mykey -path /secure_data

说明:

hdfs crypto -createZone: 创建加密区域的命令。
-keyName mykey: 指定加密密钥名称为 mykey。
-path /secure_data: 指定加密区域路径为 /secure_data。

加密区域创建后，写入 /secure_data 目录下的所有数据都会自动加密。

6.3.4.2 传输中数据加密 (Encryption in Transit)

传输中数据加密是指对 Hadoop 组件之间以及客户端与 Hadoop 组件之间的网络通信进行加密，防止数据在传输过程中被窃听。Hadoop 主要使用 SSL/TLS 协议进行传输中数据加密。

配置 Hadoop 组件启用 SSL/TLS:

需要修改 Hadoop 配置文件 (例如 core-site.xml, hdfs-site.xml, yarn-site.xml)，启用 SSL/TLS，并配置证书和密钥库文件。

代码实践：配置 core-site.xml 启用 RPC 传输的 SSL/TLS 加密


<configuration>
  <property>
    <name>hadoop.rpc.protection</name>
    <value>privacy</value>
  </property>
  <property>
    <name>hadoop.ssl.require.client.cert</name>
    <value>false</value>
  </property>
  <property>
    <name>hadoop.ssl.keystores.filename</name>
    <value>/etc/security/ssl/keystores/hadoop.jks</value>
  </property>
  <property>
    <name>hadoop.ssl.keystores.password</name>
    <value>password</value>
  </property>
  <property>
    <name>hadoop.ssl.truststores.filename</name>
    <value>/etc/security/ssl/truststores/hadoop.jks</value>
  </property>
  <property>
    <name>hadoop.ssl.truststores.password</name>
    <value>password</value>
  </property>
</configuration>

说明:

hadoop.rpc.protection=privacy: 启用 RPC 传输的加密和完整性保护。privacy 表示同时启用加密和完整性校验，integrity 表示只启用完整性校验，authentication 表示只启用身份认证，none 表示不启用安全保护。
hadoop.ssl.require.client.cert=false: 是否要求客户端提供证书。
hadoop.ssl.keystores.filename, hadoop.ssl.keystores.password: 密钥库文件路径和密码。密钥库文件包含服务器的私钥和证书。
hadoop.ssl.truststores.filename, hadoop.ssl.truststores.password: 信任库文件路径和密码。信任库文件包含信任的证书颁发机构 (CA) 证书或客户端证书。

6.3.5 审计 (Auditing)

审计是指记录 Hadoop 集群的安全事件和操作日志，用于安全监控、合规性检查和故障排查。Hadoop 提供了多种审计机制，例如 Hadoop Audit Log 和 Ranger Audit。

6.3.5.1 Hadoop Audit Log

Hadoop 组件 (例如 NameNode, DataNode, ResourceManager, NodeManager) 会生成审计日志，记录用户的操作请求、操作结果、操作时间等信息。审计日志可以配置输出到本地文件或集中式日志系统 (例如 Apache Flume, Apache Kafka)。

配置 Hadoop Audit Log:

需要修改 Hadoop 组件的 log4j.properties 配置文件，配置审计日志的输出目标和日志级别。

代码实践：配置 NameNode Audit Log 输出到本地文件

修改 hadoop-env.sh 文件，添加 HADOOP_ROOT_LOGGER=INFO,DRFA 环境变量，并配置 log4j.properties 文件：


# hadoop-env.sh
export HADOOP_ROOT_LOGGER=INFO,DRFA
# log4j.properties
log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DRFA.File=${hadoop.log.dir}/${hadoop.security.logger}.audit
log4j.appender.DRFA.DatePattern=.yyyy-MM-dd
log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout
log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %p %t %c{2.} %m%n
log4j.logger.org.apache.hadoop.security.authorize.AuditLogger=${hadoop.security.logger}.audit
log4j.additivity.org.apache.hadoop.security.authorize.AuditLogger=false
log4j.logger.${hadoop.security.logger}.audit=INFO,DRFA

6.3.5.2 Ranger Audit

Ranger Audit 是 Ranger 提供的集中式审计功能，可以记录所有通过 Ranger 策略授权的访问事件。Ranger Audit 日志可以存储在 HDFS, HBase 或 Solr 中，并可以通过 Ranger Web UI 进行查询和分析。

Ranger Audit 配置:

在 Ranger Admin 中配置 Audit 日志的存储目标 (例如 HDFS, HBase, Solr) 和审计级别。

6.3.6 Hadoop 集群安全最佳实践

除了上述安全机制，还需要遵循以下安全最佳实践，构建更安全的 Hadoop 集群：

最小权限原则: 只授予用户和应用必要的权限，避免过度授权。
网络隔离: 将 Hadoop 集群部署在隔离的网络环境中，限制外部网络访问。
防火墙配置: 配置防火墙，只允许必要的端口对外开放。
主机加固: 加固 Hadoop 集群服务器的操作系统，禁用不必要的服务，及时安装安全补丁。
安全漏洞扫描: 定期进行安全漏洞扫描，及时修复安全漏洞。
安全监控和告警: 建立安全监控系统，实时监控 Hadoop 集群的安全状态，及时发现和响应安全事件。
定期安全审计: 定期进行安全审计，检查安全配置的有效性，并根据安全风险评估结果进行调整。
用户安全意识培训: 加强用户安全意识培训，提高用户安全操作水平，减少人为错误导致的安全风险。

6.3.7 总结

Hadoop 集群安全管理是一个复杂而重要的课题，需要从身份认证、授权、数据保密性、审计等多个方面进行全面的考虑和规划。本章节详细介绍了 Hadoop 集群安全管理的关键技术和最佳实践，并提供了相关的代码实践和图文详解。希望读者能够通过学习本章节内容，构建安全可靠的 Hadoop 集群，保障数据安全和业务稳定运行。

随着云计算和大数据技术的不断发展，Hadoop 安全管理也在不断演进。未来 Hadoop 安全管理将更加注重自动化、智能化和云原生化，例如基于 AI 的威胁检测、自动化的安全策略管理和云上 Hadoop 集群的安全托管服务等。持续关注 Hadoop 安全领域的最新发展，并不断提升自身的安全技能，才能更好地应对日益复杂的安全挑战。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/150-hadoop%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E6%A1%86%E6%9E%B6%E6%95%99%E7%A8%8B

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流