Hbase

本文集文档发布于灏天文库

5.5 集群安全与权限

文档摘要

5.5 集群安全与权限 5.5 HBase 集群安全与权限 5.5.1 安全概述 HBase的安全主要围绕以下几个核心概念： 认证 (Authentication): 验证用户的身份，确认用户是否是其声称的身份。 授权 (Authorization): 确定已认证用户可以执行哪些操作，即访问哪些数据或执行哪些管理命令。 审计 (Auditing): 记录用户的操作行为，以便追踪问题和满足合规性要求。 HBase集成了Kerberos认证，并提供了基于ACL（Access Control List）的权限控制。 5.5.2 Kerberos 认证 Kerberos是一种网络认证协议，它使用密钥分发中心（KDC）来验证用户和服务的身份。

5.5 集群安全与权限

5.5 HBase 集群安全与权限

5.5.1 安全概述

HBase的安全主要围绕以下几个核心概念：

  • 认证 (Authentication): 验证用户的身份，确认用户是否是其声称的身份。

  • 授权 (Authorization): 确定已认证用户可以执行哪些操作，即访问哪些数据或执行哪些管理命令。

  • 审计 (Auditing): 记录用户的操作行为，以便追踪问题和满足合规性要求。

HBase集成了Kerberos认证，并提供了基于ACL（Access Control List）的权限控制。

5.5.2 Kerberos 认证

Kerberos是一种网络认证协议，它使用密钥分发中心（KDC）来验证用户和服务的身份。在HBase集群中启用Kerberos认证，可以确保只有经过身份验证的用户才能访问HBase服务。

5.5.2.1 Kerberos 配置

  1. 安装和配置 Kerberos KDC:

    • 安装Kerberos服务器（例如krb5-kdc和krb5-admin-server）。

    • 配置/etc/krb5.conf文件，指定KDC服务器地址和realm。

  2. 创建 HBase Principal:

    • 使用kadmin.local命令创建HBase服务principal和用户principal。

    • 例如：

    kadmin.local
addprinc hbase/_HOST@YOUR.REALM
addprinc hbase/your.hbase.server@YOUR.REALM
addprinc youruser@YOUR.REALM
ktadd -k /etc/security/keytabs/hbase.service.keytab hbase/_HOST@YOUR.REALM
ktadd -k /etc/security/keytabs/youruser.keytab youruser@YOUR.REALM
​

    • _HOST会被替换成实际的主机名。

    • /etc/security/keytabs/ 目录用于存储keytab文件，HBase服务和用户将使用这些文件进行身份验证。

  3. HBase 配置:

    • 修改hbase-site.xml文件，启用Kerberos认证：
    <property>
  <name>hbase.security.authentication</name>
  <value>kerberos</value>
</property>
<property>
  <name>hbase.security.authorization</name>
  <value>true</value>
</property>
<property>
  <name>hbase.kerberos.principal</name>
  <value>hbase/_HOST@YOUR.REALM</value>
</property>
<property>
  <name>hbase.kerberos.keytab</name>
  <value>/etc/security/keytabs/hbase.service.keytab</value>
</property>
<property>
  <name>hbase.master.kerberos.principal</name>
  <value>hbase/_HOST@YOUR.REALM</value>
</property>
<property>
  <name>hbase.master.kerberos.keytab</name>
  <value>/etc/security/keytabs/hbase.service.keytab</value>
</property>
<property>
  <name>hbase.regionserver.kerberos.principal</name>
  <value>hbase/_HOST@YOUR.REALM</value>
</property>
<property>
  <name>hbase.regionserver.kerberos.keytab</name>
  <value>/etc/security/keytabs/hbase.service.keytab</value>
</property>
<property>
  <name>hadoop.security.authentication</name>
  <value>kerberos</value>
</property>
<property>
  <name>hadoop.kerberos.principal</name>
  <value>youruser@YOUR.REALM</value>
</property>
<property>
  <name>hadoop.kerberos.keytab</name>
  <value>/etc/security/keytabs/youruser.keytab</value>
</property>
​

    • 将上述配置同步到所有HBase节点。

    • 重启HBase集群。

  4. 客户端配置:

    • 客户端也需要配置Kerberos认证。

    • 在客户端的hbase-site.xml中添加与服务器端相同的Kerberos配置。

    • 使用kinit命令获取Kerberos票据：

    kinit -kt /etc/security/keytabs/youruser.keytab youruser@YOUR.REALM
​

5.5.2.2 Kerberos 认证流程

  • AS (Authentication Server): 验证客户端身份。

  • TGS (Ticket Granting Server): 颁发访问HBase服务的票据。

  • HBase Service: 验证客户端提供的票据。

5.5.3 ACL 权限控制

HBase使用ACL（Access Control List）来管理用户对表、列族和单元格的访问权限。

5.5.3.1 权限类型

HBase支持以下权限类型：

  • READ ('R'): 允许读取数据。

  • WRITE ('W'): 允许写入数据。

  • EXEC ('X'): 允许执行操作，例如创建表、删除表等。

  • CREATE ('C'): 允许创建命名空间和表。

  • ADMIN ('A'): 允许执行所有操作，包括管理权限。

5.5.3.2 权限管理命令

HBase Shell提供了用于管理ACL的命令：

  • grant: 授予用户权限。

  • revoke: 撤销用户权限。

  • user_permission: 查看用户权限。

5.5.3.3 示例

  1. 授予用户对表的读取权限:

    grant 'youruser', 'R', 'mytable'
​

  2. 授予用户对列族的写入权限:

    grant 'youruser', 'W', 'mytable', 'myfamily'
​

  3. 授予用户对命名空间的创建权限:

    grant 'youruser', 'C', '@mynamespace'
​

  4. 查看用户权限:

    user_permission 'youruser'
​

  5. 撤销用户权限:

    revoke 'youruser', 'mytable'
​

5.5.3.4 代码实践

可以使用HBase Java API来管理权限：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.security.access.AccessControlLists;
import org.apache.hadoop.hbase.security.access.Permission;
import org.apache.hadoop.hbase.security.User;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
public class HBaseACLManager {
    public static void main(String[] args) throws IOException {
        Configuration config = HBaseConfiguration.create();
        // 设置 Zookeeper 连接信息
        config.set("hbase.zookeeper.quorum", "your.zookeeper.host");
        config.set("hbase.zookeeper.property.clientPort", "2181");
        try (Connection connection = ConnectionFactory.createConnection(config);
             Admin admin = connection.getAdmin()) {
            String user = "youruser";
            TableName tableName = TableName.valueOf("mytable");
            String family = "myfamily";
            // 授予用户对表的读取权限
            grantUserPermission(admin, user, tableName, Permission.Action.READ);
            // 授予用户对列族的写入权限
            grantUserPermission(admin, user, tableName, family, Permission.Action.WRITE);
            // 查看用户权限
            Map<TableName, List<UserPermission>> userPermissions = AccessControlLists.getUserPermissions(admin, user);
            System.out.println("User Permissions: " + userPermissions);
            // 撤销用户权限
            revokeUserPermission(admin, user, tableName);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    public static void grantUserPermission(Admin admin, String user, TableName tableName, Permission.Action... actions) throws IOException {
        admin.grant(tableName, user, null, null, actions);
    }
    public static void grantUserPermission(Admin admin, String user, TableName tableName, String family, Permission.Action... actions) throws IOException {
        admin.grant(tableName, user, family.getBytes(), null, actions);
    }
    public static void revokeUserPermission(Admin admin, String user, TableName tableName) throws IOException {
        admin.revoke(tableName, user, null, null);
    }
    public static void revokeUserPermission(Admin admin, String user, TableName tableName, String family) throws IOException {
        admin.revoke(tableName, user, family.getBytes(), null);
    }
    public static class UserPermission {
        private String user;
        private Permission.Action[] actions;
        public UserPermission(String user, Permission.Action[] actions) {
            this.user = user;
            this.actions = actions;
        }
        public String getUser() {
            return user;
        }
        public Permission.Action[] getActions() {
            return actions;
        }
        @Override
        public String toString() {
            return "UserPermission{" +
                    "user='" + user + '\'' +
                    ", actions=" + Arrays.toString(actions) +
                    '}';
        }
    }
}
​

5.5.3.5 ACL 权限层级

ACL权限可以设置在命名空间、表、列族和单元格级别，粒度越来越细。

5.5.4 审计

HBase审计记录用户的操作行为，例如创建表、删除表、写入数据等。审计日志可以用于追踪问题、满足合规性要求和进行安全分析。

5.5.4.1 审计配置

HBase审计通常与Hadoop审计集成。需要在core-site.xml中配置审计相关的属性：

<property>
  <name>hadoop.security.audit.logger</name>
  <value>INFO,audit</value>
</property>
<property>
  <name>hadoop.security.audit.log.stdlog.logger</name>
  <value>INFO,audit</value>
</property>
​

同时需要在log4j.properties或log4j2.xml中配置审计日志的输出：

log4j.logger.org.apache.hadoop.security.authorize.ServiceAuthorizationManager=INFO, audit
log4j.additivity.org.apache.hadoop.security.authorize.ServiceAuthorizationManager=false
log4j.appender.audit=org.apache.log4j.DailyRollingFileAppender
log4j.appender.audit.File=${hadoop.log.dir}/audit.log
log4j.appender.audit.DatePattern=yyyy-MM-dd
log4j.appender.audit.layout=org.apache.log4j.PatternLayout
log4j.appender.audit.layout.ConversionPattern=%d{ISO8601} %p %t %c{2} %m%n
​

5.5.4.2 审计内容

审计日志通常包含以下信息：

  • 时间戳

  • 用户名

  • 客户端IP地址

  • 操作类型（例如，CREATE, GET, PUT, DELETE）

  • 操作对象（例如，表名，列族名）

  • 操作结果（成功或失败）

5.5.4.3 审计分析

可以使用日志分析工具（例如，Splunk, ELK Stack）来分析HBase审计日志，以便发现潜在的安全风险和异常行为。

5.5.5 安全最佳实践

  • 启用 Kerberos 认证: 强制所有用户和服务通过 Kerberos 进行身份验证。

  • 使用 ACL 进行细粒度权限控制: 根据用户的角色和职责，分配最小必要的权限。

  • 定期审查权限配置: 定期检查 ACL 配置，确保权限设置符合安全策略。

  • 启用审计日志: 记录用户的操作行为，以便追踪问题和进行安全分析。

  • 定期备份数据: 定期备份HBase数据，以防止数据丢失或损坏。

  • 保持软件更新: 及时更新HBase和Hadoop版本，修复安全漏洞。

  • 网络隔离: 将HBase集群部署在隔离的网络环境中，限制外部访问。

  • 监控和告警: 监控HBase集群的安全指标，例如认证失败次数、权限拒绝次数等，并设置告警。

通过实施这些安全措施，可以有效地保护HBase集群的数据安全，防止未经授权的访问和恶意攻击。

发布者: 作者: 转发
评论区 (0)
U
0/500