1.1 Zookeeper 概述

文档摘要

1.1 Zookeeper 概述第一章：Zookeeper 基础概念 - 1.1 Zookeeper 概述在分布式系统日益普及的今天，构建可靠、可扩展且易于管理的分布式应用变得至关重要。然而，分布式环境也带来了诸多挑战，例如数据一致性、配置管理、集群管理以及分布式协调等。为了解决这些复杂的问题，ZooKeeper 应运而生。 1.1.1 什么是 ZooKeeper？ ZooKeeper 是一个开源的、高性能的分布式协调服务，它为分布式应用提供了一致性服务。用更通俗的话来说，ZooKeeper 就像一个分布式系统的“协调器”或“注册中心”，它帮助不同的服务器节点在分布式环境中协同工作，维护共享配置信息、提供命名服务、实现分布式锁、进行集群管理等等。

1.1 Zookeeper 概述

第一章：Zookeeper 基础概念 - 1.1 Zookeeper 概述

在分布式系统日益普及的今天，构建可靠、可扩展且易于管理的分布式应用变得至关重要。然而，分布式环境也带来了诸多挑战，例如数据一致性、配置管理、集群管理以及分布式协调等。为了解决这些复杂的问题，ZooKeeper 应运而生。

1.1.1 什么是 ZooKeeper？

ZooKeeper 是一个开源的、高性能的分布式协调服务，它为分布式应用提供了一致性服务。用更通俗的话来说，ZooKeeper 就像一个分布式系统的“协调器”或“注册中心”，它帮助不同的服务器节点在分布式环境中协同工作，维护共享配置信息、提供命名服务、实现分布式锁、进行集群管理等等。

更专业的定义，ZooKeeper 是一个为分布式应用构建开放式服务的中心化服务。它公开了一组简单的原语，分布式应用可以基于这些原语来实现更高级别的同步、配置维护和组管理服务。ZooKeeper 的设计目标是简单、可靠、快速和可扩展。

核心要点总结:

分布式协调服务: ZooKeeper 的核心定位是解决分布式系统中的协调问题。
开源: ZooKeeper 是一个开源项目，拥有活跃的社区支持和广泛的应用基础。
高性能: ZooKeeper 经过优化，能够提供快速且可靠的服务。
一致性服务: ZooKeeper 保证数据在集群中的一致性，这是分布式协调的关键。
中心化服务: 虽然是分布式系统中的中心化服务，但 ZooKeeper 本身也是一个集群，具备高可用性和容错性。
简单原语: ZooKeeper 提供了简单的 API 和数据模型，易于开发者使用和理解。

1.1.2 为什么需要 ZooKeeper？

在没有 ZooKeeper 这样的协调服务之前，构建分布式应用需要开发者自行解决各种分布式协调问题，这通常是复杂且容易出错的。例如：

配置管理: 在大型分布式系统中，配置信息通常需要在多个节点之间共享和同步。如果每个节点都维护自己的配置，容易导致配置不一致，从而引发各种问题。
集群管理: 分布式应用通常由多个节点组成集群。集群成员的管理（例如，节点加入、退出、监控）以及集群状态的维护（例如，leader 选举）是至关重要的。
分布式锁: 在分布式环境中，为了保证数据的一致性，常常需要使用分布式锁来控制对共享资源的并发访问。
命名服务: 分布式应用需要一种统一的方式来命名和发现服务，以便不同的组件可以相互通信。

ZooKeeper 的出现极大地简化了分布式应用的开发，它将这些通用的分布式协调任务抽象出来，提供了一套可靠且易于使用的服务，开发者可以专注于业务逻辑的实现，而无需花费大量精力在底层协调机制上。

用一个现实世界的例子来比喻 ZooKeeper：

想象一下一个大型的商业公司，各个部门（分布式系统中的节点）需要协同工作才能完成复杂的任务。

没有 ZooKeeper 的情况: 每个部门都需要自己维护重要的信息（配置），并且需要自己协调与其他部门的工作。沟通效率低下，容易出现信息不对称和冲突。
引入 ZooKeeper 的情况: 公司设立了一个中央办公室（ZooKeeper 集群），负责管理公司的重要信息（配置数据）、协调各个部门的工作（分布式协调）。各个部门只需要与中央办公室沟通，获取信息和协调工作，大大提高了效率和可靠性。

1.1.3 ZooKeeper 的核心特性

ZooKeeper 能够胜任分布式协调服务的角色，得益于其一系列核心特性：

层级命名空间 (Hierarchical Namespace): ZooKeeper 的数据模型类似于一个文件系统，采用树形结构组织数据，每个节点称为 ZNode (ZooKeeper Node)。ZNode 可以存储少量数据 (默认最大 1MB)，并且可以通过路径进行唯一标识。这种层级结构非常适合表示配置信息、服务注册信息等。
- 根节点 (Root Node): 树的根节点，用 / 表示。
- ZNode 类型: ZNode 可以分为两类：
  - 持久 (Persistent) ZNode: 创建后一直存在，直到显式删除。即使创建该 ZNode 的客户端断开连接，ZNode 仍然存在。
  - 临时 (Ephemeral) ZNode: 与创建该 ZNode 的客户端会话绑定。当客户端会话结束（例如，客户端崩溃或主动断开连接），该 ZNode 会被自动删除。临时 ZNode 通常用于实现会话管理和 Leader 选举等场景。
  - 顺序 (Sequential) ZNode: 可以是持久或临时的。创建顺序 ZNode 时，ZooKeeper 会在节点名称后追加一个单调递增的数字后缀。顺序 ZNode 可以用于实现分布式锁、队列等。
Watchers (监听器): ZooKeeper 允许客户端注册 Watcher 到 ZNode 上。当 ZNode 的数据或子节点发生变化时，ZooKeeper 会通知所有注册了 Watcher 的客户端。这种机制使得客户端可以及时感知配置变化、集群状态变化等，并做出相应的反应。Watcher 是一次性触发的，一旦触发后需要重新注册才能继续监听。
数据模型 (Data Model): ZooKeeper 存储的数据非常简单，每个 ZNode 存储少量的数据，主要用于存储配置信息、状态信息等元数据。ZooKeeper 并不适合存储大量的业务数据。
原子性 (Atomicity): ZooKeeper 的读写操作都是原子性的，要么操作成功，要么操作失败。这保证了数据的一致性。
顺序性 (Ordering): ZooKeeper 保证来自同一个客户端的所有操作请求都按照发送的顺序执行。
可靠性 (Reliability): ZooKeeper 集群由多个服务器组成，即使部分服务器宕机，ZooKeeper 仍然可以正常工作，提供可靠的服务。这得益于 ZooKeeper 的Quorum (法定人数) 机制。
高性能 (Performance): ZooKeeper 读操作性能非常高，因为读操作可以从任何一台服务器读取数据。写操作性能相对较低，因为写操作需要通过 Leader 服务器进行处理，并同步到集群中的其他服务器。但是，对于分布式协调场景，通常读操作远多于写操作，因此 ZooKeeper 的整体性能仍然非常出色。

1.1.4 ZooKeeper 的应用场景

ZooKeeper 广泛应用于各种分布式系统中，解决各种分布式协调问题。以下是一些常见的应用场景：

配置管理 (Configuration Management): 将配置信息存储在 ZooKeeper 中，各个应用节点可以从 ZooKeeper 获取最新的配置信息。当配置发生变化时，ZooKeeper 可以通过 Watcher 机制通知所有节点，实现配置的动态更新。
- 示例: 数据库连接字符串、服务器端口号、日志级别等。
命名服务 (Naming Service): 为分布式系统中的服务提供统一的命名和发现机制。服务提供者可以将自己的服务注册到 ZooKeeper 上，服务消费者可以从 ZooKeeper 查找所需的服务。
- 示例: RPC 框架 (如 Dubbo, gRPC) 使用 ZooKeeper 作为注册中心，服务提供者注册服务地址，服务消费者订阅服务地址。
分布式锁 (Distributed Lock): 利用 ZooKeeper 的临时顺序节点和 Watcher 机制，可以实现分布式锁，用于控制对共享资源的并发访问。
- 示例: 在分布式事务、分布式任务调度等场景中，需要保证数据的一致性，可以使用分布式锁。
集群管理 (Cluster Management): ZooKeeper 可以用于管理分布式集群，例如：
- Leader 选举 (Leader Election): 在分布式系统中，通常需要选举一个 Leader 节点来协调整个集群的工作。ZooKeeper 可以通过临时顺序节点和 Watcher 机制来实现 Leader 选举。
- 集群成员管理 (Group Membership): 利用临时节点，可以实时监控集群成员的状态。当节点加入或退出集群时，ZooKeeper 可以通过 Watcher 机制通知其他节点。
队列 (Queue): 利用 ZooKeeper 的顺序节点，可以实现分布式队列，用于消息传递和任务调度。
- 示例: 分布式消息队列 (如 Kafka, RabbitMQ) 的一些组件可能会使用 ZooKeeper 进行协调。
发布/订阅 (Publish/Subscribe): 利用 ZooKeeper 的 Watcher 机制，可以实现发布/订阅模式，用于消息广播和事件通知。
- 示例: 配置中心、事件驱动架构等。

1.1.5 ZooKeeper 架构概述

ZooKeeper 集群通常由多个服务器组成，这些服务器共同维护 ZooKeeper 的数据，并对外提供服务。ZooKeeper 集群中的服务器分为三种角色：

Leader: 集群中只有一个 Leader 服务器，负责处理所有的写请求，并将写操作同步到 Follower 服务器。Leader 服务器也处理读请求。
Follower: 集群中可以有多个 Follower 服务器，负责处理读请求，并将写请求转发给 Leader 服务器。Follower 服务器也参与 Leader 选举。
Observer: 集群中可以有 Observer 服务器，与 Follower 类似，也负责处理读请求，但不参与 Leader 选举和写操作的投票过程。Observer 服务器可以提高集群的读性能，但不会影响写性能和数据一致性。

客户端 (Client): 分布式应用通过 ZooKeeper 客户端库与 ZooKeeper 集群进行交互。客户端可以连接到集群中的任何一台服务器。

Quorum (法定人数): ZooKeeper 使用 Quorum 机制来保证数据的一致性和可用性。只有当超过半数的服务器（包括 Leader）确认写操作成功后，写操作才被认为成功。这确保了即使部分服务器宕机，ZooKeeper 仍然可以正常工作。

1.1.6 ZooKeeper 代码实践 (Java 客户端)

为了更好地理解 ZooKeeper 的概述，我们来看一个简单的 Java 代码示例，演示如何使用 ZooKeeper 客户端库进行基本的操作，例如连接 ZooKeeper 服务器、创建 ZNode、获取 ZNode 数据、删除 ZNode。

环境准备:

安装 ZooKeeper: 你需要先安装 ZooKeeper 服务。可以从 Apache ZooKeeper 官网下载并安装。

引入 ZooKeeper 客户端依赖: 在你的 Java 项目中，需要引入 ZooKeeper 客户端库的依赖。如果你使用 Maven，可以在 pom.xml 文件中添加以下依赖：


<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.6.3</version> <!-- 使用最新稳定版本 -->
</dependency>

代码示例:


import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
public class ZookeeperOverviewExample {
    private static final String ZK_SERVER_ADDRESS = "localhost:2181"; // ZooKeeper 服务器地址
    private static final int SESSION_TIMEOUT = 5000; // 会话超时时间 (毫秒)
    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
        // 1. 创建 ZooKeeper 客户端
        ZooKeeper zooKeeper = new ZooKeeper(ZK_SERVER_ADDRESS, SESSION_TIMEOUT, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println("Watcher Event: " + event);
            }
        });
        // 等待连接建立
        while (zooKeeper.getState() != ZooKeeper.States.CONNECTED) {
            Thread.sleep(100);
        }
        System.out.println("ZooKeeper 连接已建立!");
        // 2. 创建持久 ZNode
        String path = "/my_znode";
        byte[] data = "Hello ZooKeeper!".getBytes(StandardCharsets.UTF_8);
        CreateMode createMode = CreateMode.PERSISTENT; // 持久节点
        String createdPath = zooKeeper.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, createMode);
        System.out.println("ZNode 创建成功, 路径: " + createdPath);
        // 3. 获取 ZNode 数据
        Stat stat = new Stat();
        byte[] retrievedData = zooKeeper.getData(path, false, stat); // 不设置 Watcher
        String dataString = new String(retrievedData, StandardCharsets.UTF_8);
        System.out.println("ZNode 数据: " + dataString);
        System.out.println("ZNode 版本: " + stat.getVersion());
        // 4. 修改 ZNode 数据
        byte[] newData = "Updated Data!".getBytes(StandardCharsets.UTF_8);
        Stat updatedStat = zooKeeper.setData(path, newData, stat.getVersion()); // 基于版本号更新
        System.out.println("ZNode 数据更新成功, 新版本: " + updatedStat.getVersion());
        // 5. 删除 ZNode
        zooKeeper.delete(path, updatedStat.getVersion()); // 基于版本号删除
        System.out.println("ZNode 删除成功!");
        // 6. 关闭 ZooKeeper 连接
        zooKeeper.close();
        System.out.println("ZooKeeper 连接已关闭!");
    }
}

代码详解:

创建 ZooKeeper 客户端:
- new ZooKeeper(ZK_SERVER_ADDRESS, SESSION_TIMEOUT, Watcher): 创建 ZooKeeper 客户端实例。
  - ZK_SERVER_ADDRESS: ZooKeeper 服务器地址，格式为 host:port，如果集群有多个服务器，可以使用逗号分隔，例如 "host1:port1,host2:port2,host3:port3".
  - SESSION_TIMEOUT: 会话超时时间，单位为毫秒。如果客户端在超时时间内没有向服务器发送心跳包，会话将被视为过期，临时节点会被删除。
  - Watcher: 默认的 Watcher 实例，用于监听客户端级别的事件，例如连接状态变化。
等待连接建立:
- zooKeeper.getState() != ZooKeeper.States.CONNECTED: 循环检查 ZooKeeper 连接状态，直到连接建立成功。
创建持久 ZNode:
- zooKeeper.create(path, data, acl, createMode): 创建 ZNode。
  - path: ZNode 的路径。
  - data: ZNode 存储的数据，字节数组格式。
  - acl: 访问控制列表 (ACL)，ZooDefs.Ids.OPEN_ACL_UNSAFE 表示开放的 ACL，允许所有用户访问。在生产环境中，应该配置更安全的 ACL。
  - createMode: ZNode 的创建模式，CreateMode.PERSISTENT 表示创建持久节点。
获取 ZNode 数据:
- zooKeeper.getData(path, watch, stat): 获取 ZNode 数据。
  - path: ZNode 的路径。
  - watch: 是否设置 Watcher，false 表示不设置 Watcher。
  - stat: 用于接收 ZNode 的元数据信息，例如版本号。
修改 ZNode 数据:
- zooKeeper.setData(path, data, version): 修改 ZNode 数据。
  - path: ZNode 的路径。
  - data: 新的数据，字节数组格式。
  - version: ZNode 的版本号。ZooKeeper 使用版本号来实现乐观锁机制，只有当客户端提供的版本号与服务器端当前版本号一致时，数据才能被成功修改。这可以防止并发修改导致数据不一致的问题。
删除 ZNode:
- zooKeeper.delete(path, version): 删除 ZNode。
  - path: ZNode 的路径。
  - version: ZNode 的版本号。同样，ZooKeeper 使用版本号进行删除操作，防止误删除。
关闭 ZooKeeper 连接:
- zooKeeper.close(): 关闭 ZooKeeper 客户端连接。

运行代码:

确保 ZooKeeper 服务已启动并运行在 localhost:2181。
编译并运行 Java 代码。
观察控制台输出，可以看到 ZooKeeper 连接建立、ZNode 创建、数据获取、数据修改、ZNode 删除以及连接关闭等信息。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/223-zookeeper%E5%88%86%E5%B8%83%E5%BC%8F%E5%8D%8F%E8%B0%83%E6%9C%8D%E5%8A%A1%E6%95%99%E7%A8%8B

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流