1.2 HBase 数据模型

文档摘要

1.2 HBase 数据模型 1.2 HBase 数据模型 HBase 是一个面向列的分布式 NoSQL 数据库，其数据模型与传统的关系型数据库有很大的不同。理解 HBase 的数据模型是掌握 HBase 的关键。 1.2.1 逻辑视图从逻辑上讲，HBase 的数据模型可以被描述为一个稀疏的、多维的、排序的映射表。这个映射表由以下几个核心概念组成： Row Key（行键）: HBase 表中的每行数据都由一个唯一的 Row Key 标识。Row Key 用于在表中进行数据检索，并且数据在表中是按照 Row Key 的字典顺序排序存储的。 Column Family（列族）: 列族是 HBase 中列的集合，一个表可以包含一个或多个列族。

1.2 HBase 数据模型

HBase 是一个面向列的分布式 NoSQL 数据库，其数据模型与传统的关系型数据库有很大的不同。理解 HBase 的数据模型是掌握 HBase 的关键。

1.2.1 逻辑视图

从逻辑上讲，HBase 的数据模型可以被描述为一个稀疏的、多维的、排序的映射表。这个映射表由以下几个核心概念组成：

Row Key（行键）: HBase 表中的每行数据都由一个唯一的 Row Key 标识。Row Key 用于在表中进行数据检索，并且数据在表中是按照 Row Key 的字典顺序排序存储的。
Column Family（列族）: 列族是 HBase 中列的集合，一个表可以包含一个或多个列族。列族在表创建时必须预先定义，并且一旦定义后，通常不会频繁更改。
Column Qualifier（列限定符）: 列限定符用于在列族中唯一标识一个列。列限定符可以动态添加，无需预先定义。
Timestamp（时间戳）: HBase 中的每个单元格（Cell）可以存储多个版本的数据，每个版本的数据都由一个时间戳标识。时间戳通常表示数据写入的时间，HBase 会默认保留多个版本的数据，并按照时间戳倒序排列。
Value（值）: 值是单元格中存储的实际数据，可以是任意的字节数组。

可以用以下公式来表示 HBase 的数据模型：


(rowkey, column family:column qualifier, timestamp) => value

Graph TD 示意图

1.2.2 物理视图

在物理存储上，HBase 将数据存储在 HFile 中。HFile 是一种排序的键值对文件，它按照 Row Key 的顺序存储数据。每个列族的数据都会存储在一个单独的 HFile 中。这种存储方式使得 HBase 可以高效地进行列式读取。

1.2.3 数据模型详解

Row Key 设计

Row Key 的设计至关重要，因为它直接影响着 HBase 的性能。好的 Row Key 设计应该满足以下几个原则：
- 唯一性: Row Key 必须是唯一的，以确保每行数据都可以被唯一标识。
- 散列性: Row Key 应该具有良好的散列性，以避免数据集中存储在少数几个 Region 中，导致热点问题。
- 长度适中: Row Key 的长度应该适中，过长的 Row Key 会增加存储开销，过短的 Row Key 可能无法满足唯一性要求。
- 可读性: 尽量选择具有可读性的 Row Key，方便调试和维护。
常见的 Row Key 设计方法包括：
- 反转字符串: 将字符串反转后作为 Row Key，可以提高散列性。
- 加盐: 在 Row Key 前面添加一个随机数，可以避免数据集中存储在少数几个 Region 中。
- 时间戳反转: 将时间戳反转后作为 Row Key 的一部分，可以方便地按照时间范围进行查询。
Column Family 设计

Column Family 的设计应该遵循以下原则：
- 将经常一起访问的列放在同一个 Column Family 中: 这样可以提高读取性能。
- 不要创建过多的 Column Family: 过多的 Column Family 会增加存储开销。
- Column Family 的名称应该具有语义: 方便理解和维护。
通常，一个表应该只有少数几个 Column Family。例如，一个存储用户信息的表可以包含一个 info 列族，用于存储用户的基本信息，以及一个 address 列族，用于存储用户的地址信息。
Column Qualifier 设计

Column Qualifier 用于在 Column Family 中唯一标识一个列。Column Qualifier 可以动态添加，无需预先定义。Column Qualifier 的设计应该遵循以下原则：
- Column Qualifier 的名称应该具有语义: 方便理解和维护。
- Column Qualifier 的长度应该适中: 过长的 Column Qualifier 会增加存储开销。
例如，在 info 列族中，可以使用 name、age、gender 等 Column Qualifier 来存储用户的姓名、年龄和性别。
Timestamp 设计

HBase 会自动为每个单元格添加一个时间戳，表示数据写入的时间。时间戳可以用于存储数据的多个版本。HBase 默认保留多个版本的数据，并按照时间戳倒序排列。可以通过配置来控制保留的版本数量。

时间戳的设计应该遵循以下原则：
- 使用默认的时间戳: 通常情况下，使用 HBase 自动生成的时间戳即可满足需求。
- 自定义时间戳: 在某些特殊情况下，可能需要自定义时间戳。例如，可以使用业务时间作为时间戳，以便按照业务时间进行查询。
Value 设计

Value 是单元格中存储的实际数据，可以是任意的字节数组。Value 的设计应该遵循以下原则：
- 选择合适的数据类型: 根据实际需求选择合适的数据类型，例如字符串、整数、浮点数等。
- 考虑数据的压缩: 对于较大的数据，可以考虑使用压缩算法进行压缩，以减少存储开销。
- 考虑数据的序列化: 对于复杂的数据结构，可以使用序列化算法将其转换为字节数组进行存储。

1.2.4 代码实践

下面是一些使用 Java API 操作 HBase 数据模型的代码示例。

创建表


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class HBaseExample {
    public static void main(String[] args) throws IOException {
        // 1. 创建 HBase 配置对象
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "localhost"); // 设置 Zookeeper 地址
        conf.set("hbase.zookeeper.property.clientPort", "2181"); // 设置 Zookeeper 端口
        // 2. 创建连接
        try (Connection connection = ConnectionFactory.createConnection(conf)) {
            // 3. 获取 Admin 对象
            Admin admin = connection.getAdmin();
            // 4. 定义表名
            TableName tableName = TableName.valueOf("mytable");
            // 5. 检查表是否存在
            if (admin.tableExists(tableName)) {
                System.out.println("Table already exists");
                return;
            }
            // 6. 创建 TableDescriptor
            TableDescriptorBuilder tableDescriptorBuilder = TableDescriptorBuilder.newBuilder(tableName);
            // 7. 创建 ColumnFamilyDescriptor
            ColumnFamilyDescriptorBuilder columnFamilyDescriptorBuilder = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("mycf"));
            ColumnFamilyDescriptor columnFamilyDescriptor = columnFamilyDescriptorBuilder.build();
            // 8. 添加 ColumnFamilyDescriptor 到 TableDescriptor
            tableDescriptorBuilder.setColumnFamily(columnFamilyDescriptor);
            TableDescriptor tableDescriptor = tableDescriptorBuilder.build();
            // 9. 创建表
            admin.createTable(tableDescriptor);
            System.out.println("Table created successfully");
            // 10. 关闭 Admin
            admin.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

插入数据


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class HBaseInsertExample {
    public static void main(String[] args) throws IOException {
        // 1. 创建 HBase 配置对象
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "localhost"); // 设置 Zookeeper 地址
        conf.set("hbase.zookeeper.property.clientPort", "2181"); // 设置 Zookeeper 端口
        // 2. 创建连接
        try (Connection connection = ConnectionFactory.createConnection(conf)) {
            // 3. 获取 Table 对象
            Table table = connection.getTable(TableName.valueOf("mytable"));
            // 4. 创建 Put 对象
            Put put = new Put(Bytes.toBytes("row1")); // 设置 Row Key
            // 5. 添加数据
            put.addColumn(Bytes.toBytes("mycf"), Bytes.toBytes("name"), Bytes.toBytes("John"));
            put.addColumn(Bytes.toBytes("mycf"), Bytes.toBytes("age"), Bytes.toBytes("30"));
            // 6. 插入数据
            table.put(put);
            System.out.println("Data inserted successfully");
            // 7. 关闭 Table
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

查询数据


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class HBaseGetExample {
    public static void main(String[] args) throws IOException {
        // 1. 创建 HBase 配置对象
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "localhost"); // 设置 Zookeeper 地址
        conf.set("hbase.zookeeper.property.clientPort", "2181"); // 设置 Zookeeper 端口
        // 2. 创建连接
        try (Connection connection = ConnectionFactory.createConnection(conf)) {
            // 3. 获取 Table 对象
            Table table = connection.getTable(TableName.valueOf("mytable"));
            // 4. 创建 Get 对象
            Get get = new Get(Bytes.toBytes("row1")); // 设置 Row Key
            // 5. 获取数据
            Result result = table.get(get);
            // 6. 打印数据
            byte[] name = result.getValue(Bytes.toBytes("mycf"), Bytes.toBytes("name"));
            byte[] age = result.getValue(Bytes.toBytes("mycf"), Bytes.toBytes("age"));
            System.out.println("Name: " + Bytes.toString(name));
            System.out.println("Age: " + Bytes.toString(age));
            // 7. 关闭 Table
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

扫描数据


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class HBaseScanExample {
    public static void main(String[] args) throws IOException {
        // 1. 创建 HBase 配置对象
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "localhost"); // 设置 Zookeeper 地址
        conf.set("hbase.zookeeper.property.clientPort", "2181"); // 设置 Zookeeper 端口
        // 2. 创建连接
        try (Connection connection = ConnectionFactory.createConnection(conf)) {
            // 3. 获取 Table 对象
            Table table = connection.getTable(TableName.valueOf("mytable"));
            // 4. 创建 Scan 对象
            Scan scan = new Scan();
            // 5. 扫描数据
            try (ResultScanner scanner = table.getScanner(scan)) {
                for (Result result : scanner) {
                    byte[] rowKey = result.getRow();
                    byte[] name = result.getValue(Bytes.toBytes("mycf"), Bytes.toBytes("name"));
                    byte[] age = result.getValue(Bytes.toBytes("mycf"), Bytes.toBytes("age"));
                    System.out.println("Row Key: " + Bytes.toString(rowKey));
                    System.out.println("Name: " + Bytes.toString(name));
                    System.out.println("Age: " + Bytes.toString(age));
                }
            }
            // 6. 关闭 Table
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

这些代码示例演示了如何使用 Java API 操作 HBase 的数据模型。可以根据实际需求修改这些代码，以实现更复杂的功能。

1.2.5 总结

HBase 的数据模型是一个稀疏的、多维的、排序的映射表。理解 HBase 的数据模型是掌握 HBase 的关键。好的 Row Key 设计、Column Family 设计、Column Qualifier 设计、Timestamp 设计和 Value 设计可以提高 HBase 的性能。通过 Java API 可以方便地操作 HBase 的数据模型。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/151-hbase%E5%88%86%E5%B8%83%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%85%A5%E9%97%A8%E4%B8%8E%E5%AE%9E%E6%88%98

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流