4.1 Row Key 设计原则

文档摘要

4.1 Row Key 设计原则 4.1 Row Key 设计原则 4.1.1 唯一性原则: Row Key 必须在表中是唯一的。这是最基本的要求。HBase 使用 Row Key 作为数据的唯一标识，如果存在重复的 Row Key，会导致数据覆盖或查询结果不准确。代码示例 (Java): 详解: 上述代码展示了尝试插入具有相同 Row Key 的两条数据。HBase 会根据 Row Key 对数据进行排序和存储，如果插入具有相同 Row Key 的数据，新的数据会覆盖旧的数据，如果他们属于相同的column。因此，在设计 Row Key 时，必须确保其唯一性，通常可以采用组合多个属性的方式来生成唯一的 Row Key。 4.1.

4.1 Row Key 设计原则

4.1.1 唯一性

原则: Row Key 必须在表中是唯一的。

这是最基本的要求。HBase 使用 Row Key 作为数据的唯一标识，如果存在重复的 Row Key，会导致数据覆盖或查询结果不准确。

代码示例 (Java):


import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class RowKeyUniqueness {
    public static void main(String[] args) throws IOException {
        // 假设已经配置好 HBase 连接
        try (Connection connection = ConnectionFactory.createConnection()) {
            TableName tableName = TableName.valueOf("my_table");
            try (Table table = connection.getTable(tableName)) {
                // 尝试插入两个具有相同 Row Key 的数据
                String rowKey = "user123";
                Put put1 = new Put(Bytes.toBytes(rowKey));
                put1.addColumn(Bytes.toBytes("cf1"), Bytes.toBytes("name"), Bytes.toBytes("Alice"));
                table.put(put1);
                Put put2 = new Put(Bytes.toBytes(rowKey));
                put2.addColumn(Bytes.toBytes("cf1"), Bytes.toBytes("age"), Bytes.toBytes("30"));
                table.put(put2); // 这条 put 会覆盖之前相同rowkey的数据，因为name和age属于不同的column
                System.out.println("Data inserted (potentially overwriting existing data).");
            }
        }
    }
}

详解:

上述代码展示了尝试插入具有相同 Row Key 的两条数据。HBase 会根据 Row Key 对数据进行排序和存储，如果插入具有相同 Row Key 的数据，新的数据会覆盖旧的数据，如果他们属于相同的column。因此，在设计 Row Key 时，必须确保其唯一性，通常可以采用组合多个属性的方式来生成唯一的 Row Key。

4.1.2 散列性 (均匀分布)

原则: Row Key 应该具有良好的散列性，避免数据集中在少数 Region 上。

HBase 通过 Row Key 的范围将数据划分到不同的 Region 中。如果 Row Key 的设计导致数据集中在少数 Region 上，会导致这些 Region 成为热点，影响整体性能。好的 Row Key 设计应该使数据均匀分布在所有 Region 上，充分利用集群的资源。

反例: 使用时间戳作为 Row Key (递增的)

如果直接使用时间戳作为 Row Key，数据会按照时间顺序写入，导致所有新数据都集中在少数 Region 上。

改进方法:

加盐 (Salting): 在 Row Key 的前面添加一个随机的前缀，将数据分散到不同的 Region 上。


import java.util.Random;
public class SaltingExample {
    public static String generateSaltedRowKey(String userId) {
        Random random = new Random();
        int salt = random.nextInt(10); // 假设使用 10 个盐
        return String.format("%02d_%s", salt, userId); // 前缀补零，保证排序
    }
    public static void main(String[] args) {
        String userId = "user123";
        String saltedRowKey = generateSaltedRowKey(userId);
        System.out.println("Salted Row Key: " + saltedRowKey);
    }
}

哈希 (Hashing): 使用哈希函数对 Row Key 进行转换，生成具有更好散列性的 Row Key。


import org.apache.commons.codec.digest.DigestUtils;
public class HashingExample {
    public static String generateHashedRowKey(String userId) {
        String hash = DigestUtils.md5Hex(userId); // 使用 MD5 哈希
        return hash + "_" + userId;
    }
    public static void main(String[] args) {
        String userId = "user123";
        String hashedRowKey = generateHashedRowKey(userId);
        System.out.println("Hashed Row Key: " + hashedRowKey);
    }
}

反转 (Reversing): 如果 Row Key 的后半部分具有更好的散列性，可以将 Row Key 反转。


public class ReversingExample {
    public static String reverseString(String str) {
        return new StringBuilder(str).reverse().toString();
    }
    public static String generateReversedRowKey(String userId) {
        return reverseString(userId);
    }
    public static void main(String[] args) {
        String userId = "user123";
        String reversedRowKey = generateReversedRowKey(userId);
        System.out.println("Reversed Row Key: " + reversedRowKey);
    }
}

详解:

加盐、哈希和反转都是常用的 Row Key 散列方法。加盐通过添加随机前缀来分散数据，简单易用，但需要注意盐的数量和前缀的长度。哈希函数可以将 Row Key 转换为固定长度的哈希值，具有更好的散列性，但可能会增加 Row Key 的长度。反转适用于 Row Key 的后半部分具有更好的散列性的情况。选择哪种方法取决于具体的应用场景和数据特征。

Mermaid 图示:

4.1.3 长度适中

原则: Row Key 的长度应该适中，不宜过长。

Row Key 会作为索引存储在 HBase 中，过长的 Row Key 会增加存储开销，降低查询效率。此外，Row Key 还会通过网络传输，过长的 Row Key 会增加网络带宽的消耗。

建议: Row Key 的长度最好控制在 16KB 以内，越短越好。

优化方法:

缩短属性名称: 使用更短的属性名称来组成 Row Key。
使用数字 ID: 使用数字 ID 代替字符串作为 Row Key 的一部分。
压缩 Row Key: 使用压缩算法对 Row Key 进行压缩。

代码示例:

假设原始 Row Key 由用户ID + 时间戳 + 设备ID 组成，优化方法如下：


public class RowKeyLengthOptimization {
    public static String generateOptimizedRowKey(long userId, long timestamp, int deviceId) {
        // 使用数字 ID 代替字符串
        // 使用更短的属性名称，例如 u, t, d
        return String.format("u%d_t%d_d%d", userId, timestamp, deviceId);
    }
    public static void main(String[] args) {
        long userId = 1234567890L;
        long timestamp = System.currentTimeMillis();
        int deviceId = 100;
        String optimizedRowKey = generateOptimizedRowKey(userId, timestamp, deviceId);
        System.out.println("Optimized Row Key: " + optimizedRowKey);
        System.out.println("Length: " + optimizedRowKey.length());
    }
}

详解:

上述代码展示了如何通过使用数字 ID 和缩短属性名称来优化 Row Key 的长度。优化后的 Row Key 更加紧凑，减少了存储开销和网络带宽的消耗。

4.1.4 可读性 (可选)

原则: Row Key 应该具有一定的可读性，方便人工分析和调试。

虽然可读性不是 Row Key 设计的必要条件，但在某些场景下，具有可读性的 Row Key 可以方便人工分析和调试。

折衷方案:

可以在 Row Key 中包含一些具有可读性的属性，例如用户 ID 或产品 ID，同时使用散列方法来保证 Row Key 的散列性。

代码示例:


import org.apache.commons.codec.digest.DigestUtils;
public class ReadableRowKey {
    public static String generateReadableRowKey(String userId, long timestamp) {
        String hash = DigestUtils.md5Hex(userId);
        return String.format("%s_%s_%d", userId, hash.substring(0, 8), timestamp);
    }
    public static void main(String[] args) {
        String userId = "user123";
        long timestamp = System.currentTimeMillis();
        String readableRowKey = generateReadableRowKey(userId, timestamp);
        System.out.println("Readable Row Key: " + readableRowKey);
    }
}

详解:

上述代码展示了如何在 Row Key 中包含用户 ID，同时使用 MD5 哈希来保证 Row Key 的散列性。Row Key 的前半部分是用户 ID，方便人工识别，后半部分是哈希值和时间戳，保证了 Row Key 的散列性和唯一性。

4.1.5 查询效率优先

原则: Row Key 的设计应该优先考虑查询效率。

Row Key 是 HBase 进行数据检索的关键，好的 Row Key 设计可以显著提升查询效率。在设计 Row Key 时，应该根据实际的查询模式来优化 Row Key 的结构。

查询模式分析:

按用户 ID 查询: 将用户 ID 作为 Row Key 的一部分。
按时间范围查询: 将时间戳作为 Row Key 的一部分，并保证时间戳的顺序性。
按多个属性组合查询: 将多个属性组合成 Row Key。

代码示例:

假设需要按用户 ID 和时间范围查询数据，Row Key 的设计如下：


public class QueryEfficientRowKey {
    public static String generateQueryEfficientRowKey(String userId, long timestamp) {
        return String.format("%s_%d", userId, timestamp);
    }
    public static void main(String[] args) {
        String userId = "user123";
        long timestamp = System.currentTimeMillis();
        String queryEfficientRowKey = generateQueryEfficientRowKey(userId, timestamp);
        System.out.println("Query Efficient Row Key: " + queryEfficientRowKey);
    }
}

详解:

上述代码将用户 ID 和时间戳组合成 Row Key，可以方便地按用户 ID 和时间范围查询数据。在查询时，可以使用 PrefixFilter 或 RowFilter 来过滤 Row Key，提升查询效率。

4.1.6总结

Row Key 的设计是 HBase Schema 设计的关键环节，直接影响 HBase 的性能和可扩展性。在设计 Row Key 时，需要综合考虑唯一性、散列性、长度、可读性和查询效率等因素，根据实际的应用场景和数据特征来选择合适的 Row Key 设计方案。

Row Key 设计原则总结:

唯一性: Row Key 必须在表中是唯一的。
散列性: Row Key 应该具有良好的散列性，避免数据集中在少数 Region 上。
长度适中: Row Key 的长度应该适中，不宜过长。
可读性 (可选): Row Key 应该具有一定的可读性，方便人工分析和调试。
查询效率优先: Row Key 的设计应该优先考虑查询效率。

在实际应用中，可能需要根据具体情况对这些原则进行权衡和调整。例如，在某些场景下，为了保证查询效率，可以牺牲一定的散列性。因此，在设计 Row Key 时，需要充分了解 HBase 的工作原理和数据特征，并进行充分的测试和验证，选择最适合的 Row Key 设计方案。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/151-hbase%E5%88%86%E5%B8%83%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%85%A5%E9%97%A8%E4%B8%8E%E5%AE%9E%E6%88%98

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流