2.6 WAL (Write-Ahead Log) 机制详解

2.6 WAL (Write-Ahead Log) 机制详解

2.6 WAL (Write-Ahead Log) 机制详解

WAL (Write-Ahead Log)，即预写式日志，是 HBase 中保证数据可靠性的关键机制。它确保了即使在 RegionServer 发生故障的情况下，数据也不会丢失，从而满足 ACID 特性中的持久性 (Durability)。

2.6.1 WAL 的作用与原理

HBase 首先将数据写入 WAL，然后再写入 MemStore。 只有当 WAL 成功写入后，才认为写入操作成功。 这样，即使 RegionServer 崩溃，MemStore 中的数据尚未刷新到 HFile，也可以通过重放 WAL 来恢复数据。

具体流程如下：

1. 客户端发起写请求： 客户端向 RegionServer 发起写入数据的请求。

2. 写入 WAL： RegionServer 首先将写操作相关的信息（包括 Key、Value、Column Family 等）写入到 WAL 中。 WAL 顺序写入磁盘，具有很高的写入性能。

3. 写入 MemStore： WAL 写入成功后，RegionServer 将数据写入到 MemStore 中。MemStore 是内存中的缓存，用于加速读写操作。

4. 确认写入： 当 WAL 和 MemStore 都写入成功后，RegionServer 向客户端发送写入成功的确认。

5. MemStore 刷新： 当 MemStore 达到一定的阈值（例如大小或时间），RegionServer 会将 MemStore 中的数据刷新 (flush) 到 HFile 中，持久化到磁盘。

6. WAL 过期： 一旦 MemStore 中的数据成功刷新到 HFile，相关的 WAL 日志就可以被安全地删除或归档。

mermaid 图示：

2.6.2 WAL 的特点

• 持久性： 数据首先写入 WAL，确保数据不会丢失。

• 顺序写入： WAL 以顺序方式写入磁盘，具有很高的写入性能。

• 故障恢复： RegionServer 故障后，可以通过重放 WAL 恢复数据。

• 原子性： 一组操作要么全部写入 WAL，要么全部不写入，保证了操作的原子性。

2.6.3 WAL 的实现

HBase 的 WAL 实现基于 Hadoop 的 SequenceFile。 每个 RegionServer 都有一个或多个 WAL 文件。

• WAL 文件名： WAL 文件的命名格式通常包含 RegionServer 的主机名、启动时间戳以及一个序列号。

• WAL 写入内容： WAL 写入的内容是 WALEdit 对象，它包含了对 HBase 表的修改操作，例如 Put、Delete 等。

• WAL 管理： HBase 使用 HLog 类来管理 WAL 文件。 HLog 负责 WAL 文件的创建、写入、滚动 (roll) 和归档。

2.6.4 WAL 相关配置

HBase 提供了一些配置参数来控制 WAL 的行为：

• hbase.wal.dir: WAL 存储目录，默认是 ${hbase.rootdir}/wal。

• hbase.regionserver.wal.enable: 是否启用 WAL，默认是 true。 强烈建议启用 WAL。

• hbase.regionserver.hlog.blocksize: WAL 文件块大小，默认是 64KB。

• hbase.regionserver.max.logs: 最大 WAL 文件数量，超过该数量的 WAL 文件将被归档。

• hbase.regionserver.logroll.period: WAL 滚动周期，默认是 3600000 毫秒 (1 小时)。

2.6.5 WAL 代码实践

以下代码展示了如何使用 HBase API 写入 WAL：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.RegionLocator;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.wal.WAL;
import org.apache.hadoop.hbase.wal.WALFactory;
import org.apache.hadoop.hbase.wal.WALKey;
import org.apache.hadoop.hbase.wal.WALEdit;
import org.apache.hadoop.hbase.regionserver.wal.WALActionsListener;
import org.apache.hadoop.hbase.regionserver.wal.WALRoller;
import org.apache.hadoop.hbase.regionserver.wal.AbstractFSWALProvider;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
import java.time.Instant;
import java.util.UUID;
public class WALExample {
    public static void main(String[] args) throws IOException {
        // 1. 创建 HBase 配置
        Configuration conf = HBaseConfiguration.create();
        // 2. 创建 Connection
        try (Connection connection = ConnectionFactory.createConnection(conf)) {
            // 3. 定义表名
            TableName tableName = TableName.valueOf("mytable");
            // 4. 获取 RegionLocator
            RegionLocator regionLocator = connection.getRegionLocator(tableName);
            // 5. 创建 WALFactory
            WALFactory walFactory = new WALFactory(conf, "my-wal-example");
            // 6. 获取 WAL 实例
            WAL wal = walFactory.getWAL(regionLocator.getAllRegionLocations().get(0).getServerName());
            // 7. 创建 Put 对象
            Put put = new Put(Bytes.toBytes("row1"));
            put.addColumn(Bytes.toBytes("cf1"), Bytes.toBytes("qual1"), Bytes.toBytes("value1"));
            // 8. 创建 WALEdit 对象
            WALEdit walEdit = new WALEdit();
            walEdit.add(put);
            // 9. 创建 WALKey 对象
            WALKey walKey = new WALKey(regionLocator.getAllRegionLocations().get(0).getRegionInfo().getEncodedNameAsBytes(),
                                      tableName,
                                      Instant.now().toEpochMilli());
            // 10. 写入 WAL
            wal.append(tableName, regionLocator.getAllRegionLocations().get(0).getRegionInfo(), walKey, walEdit, true);
            wal.sync();
            System.out.println("Data written to WAL successfully.");
             // 11. 关闭 WAL
            walFactory.close();
        }
    }
}
​

代码解释：

1. 创建 HBase 配置： 使用 HBaseConfiguration.create() 创建 HBase 配置对象。

2. 创建 Connection： 使用 ConnectionFactory.createConnection(conf) 创建 HBase 连接。

3. 定义表名： 指定要写入的表名。

4. 获取 RegionLocator: 通过connection.getRegionLocator(tableName)获取region定位器，用于定位region信息。

5. 创建 WALFactory： 使用 WALFactory 创建 WAL 工厂，用于创建和管理 WAL 实例。

6. 获取 WAL 实例： 使用 walFactory.getWAL() 获取 WAL 实例。 这里需要传入 RegionServer 的服务器名称。

7. 创建 Put 对象： 创建一个 Put 对象，用于表示要写入的数据。

8. 创建 WALEdit 对象： 创建一个 WALEdit 对象，并将 Put 对象添加到 WALEdit 中。

9. 创建 WALKey 对象： 创建一个 WALKey 对象，用于标识 WAL 记录。需要传入 Region 的信息。

10. 写入 WAL： 使用 wal.append() 将 WALKey 和 WALEdit 写入 WAL。

11. 同步 WAL： 使用 wal.sync() 将 WAL 缓冲区中的数据刷新到磁盘。

12. 关闭 WAL： 使用 walFactory.close() 关闭 WALFactory。

注意：

• 这段代码只是一个简单的示例，用于演示如何使用 HBase API 写入 WAL。 在实际生产环境中，HBase 会自动管理 WAL 的写入和滚动。

• 需要根据实际情况修改代码中的表名、列族、列名和值。

• 确保 HBase 集群已经启动并正常运行。

2.6.6 WAL 的优化

• WAL 压缩： HBase 支持对 WAL 进行压缩，以减少磁盘空间占用。 可以通过配置 hbase.wal.entry.compression 参数来启用 WAL 压缩。

• 多 WAL： 可以配置多个 WAL 目录，以提高 WAL 的写入性能。 可以通过配置 hbase.wal.dir 参数来指定多个 WAL 目录。

• WAL 异步刷新： 可以将 WAL 的刷新操作设置为异步执行，以减少写入延迟。 可以通过配置 hbase.wal.async.enabled 参数来启用 WAL 异步刷新。

• HDFS 优化： 将 WAL 存储在 HDFS 上时，可以对 HDFS 进行优化，例如增加 HDFS 的数据块大小，启用 HDFS 的数据压缩等。

2.6.7 故障恢复

当 RegionServer 发生故障时，HMaster 会将该 RegionServer 上的 Region 分配给其他 RegionServer。 新的 RegionServer 会重放 WAL，将 WAL 中尚未刷新到 HFile 的数据恢复到 MemStore 中。 这样，即使在 RegionServer 发生故障的情况下，数据也不会丢失。

mermaid 图示：

2.6.8 总结

WAL 机制是 HBase 中保证数据可靠性的关键机制。 通过将数据首先写入 WAL，然后再写入 MemStore，HBase 确保了即使在 RegionServer 发生故障的情况下，数据也不会丢失。 了解 WAL 的原理和配置对于构建高可靠性的 HBase 应用至关重要。

希望这个详细的 WAL 机制详解能够帮助你更好地理解 HBase 的核心原理。