1.1 NoSQL 与 HBase 概述

文档摘要

1.1 NoSQL 与 HBase 概述 1.1 NoSQL 与 HBase 概述 1.1.1 NoSQL 简介 NoSQL（Not Only SQL）是一种非关系型数据库管理系统的统称。它突破了传统关系型数据库（RDBMS）的诸多限制，旨在解决大规模数据存储、高并发读写、以及灵活数据模型等问题。为什么需要 NoSQL？传统的关系型数据库在面对以下挑战时显得力不从心：海量数据存储：随着互联网和物联网的快速发展，数据量呈爆炸式增长。传统数据库在扩展性方面存在瓶颈，难以满足海量数据的存储需求。高并发读写：高流量网站和应用需要支持高并发的读写操作。传统数据库在高并发场景下性能下降明显。灵活的数据模型：传统数据库采用严格的 schema 定义，难以适应快速变化的数据结构需求。

1.1 NoSQL 与 HBase 概述

1.1.1 NoSQL 简介

NoSQL（Not Only SQL）是一种非关系型数据库管理系统的统称。它突破了传统关系型数据库（RDBMS）的诸多限制，旨在解决大规模数据存储、高并发读写、以及灵活数据模型等问题。

为什么需要 NoSQL？

传统的关系型数据库在面对以下挑战时显得力不从心：

海量数据存储： 随着互联网和物联网的快速发展，数据量呈爆炸式增长。传统数据库在扩展性方面存在瓶颈，难以满足海量数据的存储需求。
高并发读写： 高流量网站和应用需要支持高并发的读写操作。传统数据库在高并发场景下性能下降明显。
灵活的数据模型： 传统数据库采用严格的 schema 定义，难以适应快速变化的数据结构需求。

NoSQL 数据库应运而生，通过牺牲部分 ACID (原子性、一致性、隔离性、持久性)特性，换取更高的性能、可扩展性和灵活性。

NoSQL 的主要特点：

非关系型数据模型： 通常采用键值对、文档、列族、图等非关系型数据模型，更加灵活，易于存储和查询非结构化或半结构化数据。
分布式架构： 采用分布式架构，可以方便地扩展存储容量和处理能力，应对海量数据和高并发需求。
高性能： 通过优化数据存储和查询方式，以及采用内存缓存等技术，实现高性能的读写操作。
高可扩展性： 可以通过简单地增加节点来扩展存储容量和处理能力，具有良好的水平扩展性。
灵活的数据模型： 支持灵活的数据模型，可以根据业务需求动态调整数据结构，无需预先定义 schema。

NoSQL 的类型：

键值存储 (Key-Value Store): 以键值对的形式存储数据，适用于缓存、会话管理等场景。例如：Redis, Memcached。
文档数据库 (Document Database): 以文档的形式存储数据，文档通常是 JSON 或 XML 格式，适用于存储半结构化数据。例如：MongoDB, Couchbase。
列族数据库 (Column-Family Database): 以列族的形式存储数据，数据按照列族进行组织，适用于存储海量结构化数据。例如：HBase, Cassandra。
图数据库 (Graph Database): 以图的形式存储数据，数据之间的关系通过边来表示，适用于社交网络、知识图谱等场景。例如：Neo4j, JanusGraph。

NoSQL 适用场景：

Web 应用
移动应用
物联网 (IoT)
大数据分析
社交网络
内容管理系统 (CMS)
日志管理

1.1.2 HBase 概述

HBase 是一个开源的、分布式的、面向列的 NoSQL 数据库，构建在 Hadoop 之上。它是 Apache Hadoop 项目的一部分，主要用于存储海量结构化和半结构化数据。HBase 借鉴了 Google 的 Bigtable 论文的设计思想。

HBase 的主要特点：

基于 Hadoop: HBase 运行在 Hadoop HDFS 之上，利用 HDFS 提供可靠的存储和容错能力。
面向列存储: 数据按照列族进行组织，可以高效地存储和检索稀疏数据。
高可靠性: 通过 HDFS 的多副本机制和 HBase 的 WAL (Write-Ahead Logging) 机制，保证数据的可靠性。
高扩展性: 可以通过增加节点来扩展存储容量和处理能力，具有良好的水平扩展性。
高吞吐量: 通过优化数据存储和查询方式，以及采用内存缓存等技术，实现高吞吐量的读写操作.
自动故障转移: HBase 具有自动故障转移机制，当节点发生故障时，可以自动将任务转移到其他节点，保证服务的可用性。
强一致性: HBase 支持行级别的原子性操作，保证数据的一致性。

HBase 的架构：

HDFS (Hadoop Distributed File System): HBase 的底层存储，负责存储实际的数据。
Zookeeper: 负责协调 HBase 集群中的各个组件，例如 Master 选举、Region 分配等。
HMaster: 负责管理 HBase 集群，例如 Region 分配、负载均衡、Schema 管理等。
RegionServer: 负责存储和管理 Region，处理客户端的读写请求。
Region: HBase 中数据的基本存储单元，每个 Region 包含一个表的若干行。
Client: 客户端应用程序，通过 HBase API 与 HBase 集群进行交互。

HBase 的数据模型：

HBase 的数据模型是一种稀疏的、持久化的、多维排序的映射表。它包含以下几个概念：

Row Key: 行键，用于唯一标识一行数据。
Column Family: 列族，用于将相关的列组织在一起。
Column Qualifier: 列限定符，用于在列族中唯一标识一列。
Timestamp: 时间戳，用于标识数据的版本。
Value: 值，存储实际的数据。

一个 HBase 表可以被看作是一个四维的映射：[Row Key, Column Family, Column Qualifier, Timestamp] -> Value

HBase 适用场景：

海量数据存储: HBase 适用于存储海量结构化和半结构化数据，例如日志数据、监控数据、用户行为数据等。
高并发读写: HBase 适用于高并发的读写操作，例如实时数据分析、在线交易等。
实时数据分析: HBase 可以与 Hadoop 生态系统中的其他组件集成，例如 Spark、Flink 等，用于实时数据分析。
时序数据存储: HBase可以利用时间戳属性存储时序数据。

HBase 与关系型数据库的对比：

特性	HBase	关系型数据库
数据模型	面向列的稀疏表	基于关系模型的表
扩展性	高度可扩展，可以水平扩展	扩展性有限，通常需要垂直扩展
一致性	行级别原子性，最终一致性 (可配置)	ACID 事务
存储方式	HDFS	磁盘
适用场景	海量数据存储，高并发读写，实时数据分析	事务性要求高，数据结构稳定，数据量适中

1.1.3 HBase 代码实践 (Java)

以下是一个简单的 Java 示例，展示如何使用 HBase API 创建表、插入数据、查询数据和删除数据。

环境准备：

安装 Hadoop 和 HBase (单机或集群)
配置 HBase 客户端环境 (例如：设置 hbase-site.xml 文件)
引入 HBase 客户端依赖 (例如：Maven)


<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>2.4.18</version> <!-- 请替换为你的 HBase 版本 -->
</dependency>

代码示例：


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class HBaseExample {
    private static final String TABLE_NAME = "mytable";
    private static final String COLUMN_FAMILY = "cf1";
    public static void main(String[] args) throws IOException {
        // 1. 创建 HBase 配置对象
        Configuration config = HBaseConfiguration.create();
        // 如果是集群环境，需要指定 Zookeeper 地址
        // config.set("hbase.zookeeper.quorum", "zk1,zk2,zk3");
        // 2. 创建 HBase 连接对象
        try (Connection connection = ConnectionFactory.createConnection(config)) {
            // 3. 获取 Admin 对象
            try (Admin admin = connection.getAdmin()) {
                // 4. 创建表
                TableName tableName = TableName.valueOf(TABLE_NAME);
                if (!admin.tableExists(tableName)) {
                    TableDescriptor tableDescriptor = TableDescriptorBuilder.newBuilder(tableName)
                            .setColumnFamily(ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(COLUMN_FAMILY)).build())
                            .build();
                    admin.createTable(tableDescriptor);
                    System.out.println("Table created successfully.");
                }
                // 5. 获取 Table 对象
                try (Table table = connection.getTable(tableName)) {
                    // 6. 插入数据
                    Put put = new Put(Bytes.toBytes("row1"));
                    put.addColumn(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("col1"), Bytes.toBytes("value1"));
                    put.addColumn(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("col2"), Bytes.toBytes("value2"));
                    table.put(put);
                    System.out.println("Data inserted successfully.");
                    // 7. 查询数据
                    Get get = new Get(Bytes.toBytes("row1"));
                    Result result = table.get(get);
                    byte[] value1 = result.getValue(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("col1"));
                    byte[] value2 = result.getValue(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("col2"));
                    System.out.println("Value of col1: " + Bytes.toString(value1));
                    System.out.println("Value of col2: " + Bytes.toString(value2));
                    // 8. 删除数据
                    Delete delete = new Delete(Bytes.toBytes("row1"));
                    table.delete(delete);
                    System.out.println("Data deleted successfully.");
                    // 再次查询，验证数据是否被删除
                    Result resultAfterDelete = table.get(get);
                    if (resultAfterDelete.isEmpty()) {
                        System.out.println("Row 'row1' does not exist after deletion.");
                    } else {
                        System.out.println("Row 'row1' still exists after deletion. Something went wrong.");
                    }
                }
            }
        }
    }
}

代码解释：

创建 HBase 配置对象： HBaseConfiguration.create() 创建一个 HBase 配置对象，用于连接 HBase 集群。如果 HBase 集群运行在分布式模式下，需要设置 hbase.zookeeper.quorum 属性，指定 Zookeeper 地址。
创建 HBase 连接对象： ConnectionFactory.createConnection(config) 创建一个 HBase 连接对象，用于与 HBase 集群进行通信。
获取 Admin 对象： connection.getAdmin() 获取一个 Admin 对象，用于管理 HBase 集群，例如创建表、删除表等。
创建表：
- TableName.valueOf(TABLE_NAME) 创建一个 TableName 对象，指定表的名称。
- admin.tableExists(tableName) 检查表是否存在。
- TableDescriptorBuilder.newBuilder(tableName) 创建一个 TableDescriptorBuilder 对象，用于构建表描述符。
- ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(COLUMN_FAMILY)).build() 创建一个 ColumnFamilyDescriptor 对象，指定列族的名称。
- tableDescriptorBuilder.setColumnFamily(columnFamilyDescriptor).build() 将列族添加到表描述符中。
- admin.createTable(tableDescriptor) 创建表。
获取 Table 对象： connection.getTable(tableName) 获取一个 Table 对象，用于操作表中的数据。
插入数据：
- Put put = new Put(Bytes.toBytes("row1")) 创建一个 Put 对象，指定行键。
- put.addColumn(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("col1"), Bytes.toBytes("value1")) 将数据添加到 Put 对象中，指定列族、列限定符和值。
- table.put(put) 将数据插入到表中。
查询数据：
- Get get = new Get(Bytes.toBytes("row1")) 创建一个 Get 对象，指定行键。
- Result result = table.get(get) 从表中获取数据。
- result.getValue(Bytes.toBytes(COLUMN_FAMILY), Bytes.toBytes("col1")) 从 Result 对象中获取指定列族和列限定符的值。
删除数据：
- Delete delete = new Delete(Bytes.toBytes("row1")) 创建一个 Delete 对象，指定行键。
- table.delete(delete) 从表中删除数据。

注意：

此示例仅用于演示 HBase API 的基本用法。在实际应用中，需要根据具体的业务需求进行调整。
HBase 的版本可能影响 API 的使用方式。请根据你使用的 HBase 版本查阅官方文档。
在集群环境下运行此示例时，需要确保 HBase 集群正常运行，并且客户端可以连接到 Zookeeper。
代码中使用了 Bytes.toBytes() 和 Bytes.toString() 方法进行 byte 数组和字符串之间的转换。 HBase 使用 byte 数组来存储数据，因此需要进行类型转换。
异常处理需要更加完善，可以使用 try-catch 块来处理可能出现的异常。

1.1.4 总结

本章节对 NoSQL 数据库和 HBase 进行了概述。NoSQL 数据库是为了解决传统关系型数据库在海量数据、高并发和灵活数据模型方面的挑战而产生的。HBase 是一种基于 Hadoop 的、面向列的 NoSQL 数据库，适用于存储海量结构化和半结构化数据。通过代码示例，我们了解了如何使用 HBase API 进行基本的数据操作。掌握这些基础知识是深入学习 HBase 的关键。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/151-hbase%E5%88%86%E5%B8%83%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%85%A5%E9%97%A8%E4%B8%8E%E5%AE%9E%E6%88%98

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流