2.3 集群模式安装与配置

2.3 集群模式安装与配置

2.3 集群模式安装与配置

2.3.1 集群模式概述

Zookeeper 集群是由多个 Zookeeper 服务器组成的集合，这些服务器共同维护着整个集群的数据，并对外提供一致的服务。集群模式的核心优势在于：

• 高可用性 (High Availability, HA)：即使集群中的部分服务器发生故障，整个集群仍然可以继续对外提供服务。这是因为 Zookeeper 使用法定人数 (Quorum) 机制，只要集群中超过半数的服务器正常运行，集群就能正常工作。

• 负载均衡 (Load Balancing)：客户端可以连接到集群中的任何一台服务器，集群内部会自动进行客户端请求的负载均衡，提高整体性能。

• 数据可靠性 (Data Reliability)：集群中的所有服务器都保存着相同的数据副本，即使部分服务器数据丢失，也能从其他服务器恢复，保证数据的可靠性和一致性。

Zookeeper 集群模式通常采用Leader-Follower架构，其中一个服务器被选举为 Leader，负责处理客户端的写请求，并将数据同步到其他 Follower 服务器。Follower 服务器则负责处理客户端的读请求，并参与 Leader 选举。

图 2.3.1 Zookeeper 集群 Leader-Follower 架构示意图

如上图所示，一个典型的 Zookeeper 集群包含多个服务器，客户端可以连接到任何一个服务器。集群内部通过 Leader-Follower 机制保证数据一致性和服务可用性。

2.3.2 集群模式安装准备

在开始集群模式安装之前，我们需要进行一些准备工作，包括硬件和软件环境的准备，以及规划集群的服务器数量和配置。

2.3.2.1 环境准备

• 操作系统: 推荐使用 Linux 系统，例如 CentOS, Ubuntu 等。本教程以 CentOS 7 为例。

• Java 环境: 确保集群中所有服务器都安装了 JDK 1.8 或以上版本，并配置好 JAVA_HOME 环境变量。

• Zookeeper 安装包: 下载 Zookeeper 安装包，例如 apache-zookeeper-3.8.0-bin.tar.gz。可以从 Apache Zookeeper 官网下载：https://zookeeper.apache.org/releases.html

• 服务器数量: 建议集群服务器数量为奇数，例如 3 台、5 台、7 台等。奇数数量的服务器能够提高 Leader 选举的效率和容错能力。本教程以 3 台服务器为例进行演示。

• 服务器规划: 我们需要规划每台服务器的 IP 地址、主机名以及 Zookeeper 的相关配置。假设我们有三台服务器，规划如下：

注意: 请根据实际网络环境和服务器配置进行相应的调整。确保服务器之间网络互通，防火墙已放行 Zookeeper 使用的端口。

2.3.2.2 安装包准备

1. 下载 Zookeeper 安装包: 访问 Apache Zookeeper 官网下载页面，下载二进制版本的安装包 apache-zookeeper-x.x.x-bin.tar.gz。

2. 上传安装包: 将下载的安装包上传到集群中所有服务器的指定目录，例如 /opt/software/ 目录。

2.3.3 集群模式安装步骤

以下步骤将在三台服务器 (zkserver1, zkserver2, zkserver3) 上分别执行，完成 Zookeeper 集群的安装与配置。

步骤 1: 解压安装包

在每台服务器上，进入安装包所在目录，解压 Zookeeper 安装包：

cd /opt/software/
tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz
mv apache-zookeeper-3.8.0-bin /opt/zookeeper
​

我们将解压后的目录重命名为 /opt/zookeeper，方便后续操作。

步骤 2: 创建数据目录和日志目录

在每台服务器上，创建 Zookeeper 的数据目录和日志目录。数据目录用于存储 Zookeeper 的数据快照和事务日志，日志目录用于存储 Zookeeper 的运行日志。

mkdir -p /opt/zookeeper/data
mkdir -p /opt/zookeeper/logs
​

步骤 3: 配置 zoo.cfg 文件

进入 Zookeeper 的 conf 目录，复制 zoo_sample.cfg 文件并重命名为 zoo.cfg：

cd /opt/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
​

编辑 zoo.cfg 文件，根据服务器规划进行配置。以下是每台服务器 zoo.cfg 文件的配置示例，注意根据服务器编号修改 server.X 中的 X 值。

zkserver1 (192.168.1.101) 的 zoo.cfg 配置:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/logs
clientPort=2181
server.1=192.168.1.101:2888:3888
server.2=192.168.1.102:2888:3888
server.3=192.168.1.103:2888:3888
​

zkserver2 (192.168.1.102) 的 zoo.cfg 配置:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/logs
clientPort=2181
server.1=192.168.1.101:2888:3888
server.2=192.168.1.102:2888:3888
server.3=192.168.1.103:2888:3888
​

zkserver3 (192.168.1.103) 的 zoo.cfg 配置:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/logs
clientPort=2181
server.1=192.168.1.101:2888:3888
server.2=192.168.1.102:2888:3888
server.3=192.168.1.103:2888:3888
​

zoo.cfg 文件关键配置参数详解:

• tickTime: Zookeeper 服务器之间心跳检测的时间间隔，单位为毫秒 (ms)。默认值为 2000ms。

• initLimit: Follower 服务器连接并同步到 Leader 服务器的最大时间，以 tickTime 的倍数为单位。例如，initLimit=10 表示最大同步时间为 10 * tickTime = 20000ms = 20 秒。

• syncLimit: Leader 服务器和 Follower 服务器之间数据同步的最大时间，以 tickTime 的倍数为单位。例如，syncLimit=5 表示最大同步时间为 5 * tickTime = 10000ms = 10 秒。

• dataDir: Zookeeper 数据快照存储目录。

• dataLogDir: Zookeeper 事务日志存储目录。建议将 dataDir 和 dataLogDir 目录配置在不同的磁盘上，以提高性能。如果 dataLogDir 未配置，默认使用 dataDir 目录。

• clientPort: Zookeeper 服务器对外提供服务的客户端端口。默认值为 2181。

• server.X=hostname:port1:port2: 配置集群中的服务器信息。

  • X: 服务器的唯一 ID，取值范围为 1 到 255。每个服务器的 ID 必须唯一。

  • hostname: 服务器的主机名或 IP 地址。

  • port1: Follower 服务器与 Leader 服务器进行选举时通信的端口。通常设置为 2888。

  • port2: Leader 服务器和 Follower 服务器进行数据同步时通信的端口。通常设置为 3888。

注意:

• 集群中所有服务器的 zoo.cfg 文件内容基本相同，唯一需要区分的是 server.X 配置中的 X 值以及后续步骤中 myid 文件的配置。

• server.X 配置中列出了集群中所有服务器的信息，包括当前服务器自身。

步骤 4: 配置 myid 文件

在每台服务器的 dataDir 目录下，创建一个名为 myid 的文件，并在文件中写入当前服务器在 zoo.cfg 中配置的 server.X 中的 X 值。

zkserver1 (192.168.1.101) 的 myid 配置:

cd /opt/zookeeper/data
echo 1 > myid
​

zkserver2 (192.168.1.102) 的 myid 配置:

cd /opt/zookeeper/data
echo 2 > myid
​

zkserver3 (192.168.1.103) 的 myid 配置:

cd /opt/zookeeper/data
echo 3 > myid
​

myid 文件详解:

myid 文件用于标识当前 Zookeeper 服务器在集群中的唯一 ID。这个 ID 需要与 zoo.cfg 文件中 server.X 配置中的 X 值对应。Zookeeper 服务器启动时会读取 myid 文件，根据 ID 找到自己在 zoo.cfg 中的配置信息，从而加入集群。

步骤 5: 启动 Zookeeper 集群

在每台服务器上，进入 Zookeeper 的 bin 目录，启动 Zookeeper 服务器：

cd /opt/zookeeper/bin
./zkServer.sh start
​

启动完成后，可以使用以下命令查看 Zookeeper 服务器的运行状态：

./zkServer.sh status
​

正常情况下，集群中会选举出一个 Leader 服务器，其他服务器为 Follower 服务器。

示例输出 (zkserver1 - Leader):

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader
​

示例输出 (zkserver2 - Follower):

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
​

示例输出 (zkserver3 - Follower):

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
​

图 2.3.2 Zookeeper 集群启动状态示意图

如上图所示，zkserver1 被选举为 Leader，zkserver2 和 zkserver3 为 Follower。

步骤 6: 验证集群状态

连接到集群中的任意一台服务器，使用 Zookeeper 客户端工具 zkCli.sh 验证集群状态。

cd /opt/zookeeper/bin
./zkCli.sh -server 192.168.1.101:2181
​

连接成功后，执行 stat 命令查看集群状态：

[zk: 192.168.1.101:2181(CONNECTED) 0] stat
...
Mode: leader  // 如果连接的是 Leader 服务器
...
Mode: follower // 如果连接的是 Follower 服务器
...
​

或者，可以执行 get /zookeeper/config 命令，查看集群的配置信息。正常情况下，所有服务器返回的配置信息应该一致。

[zk: 192.168.1.101:2181(CONNECTED) 0] get /zookeeper/config
...
server.1=zkserver1:2888:3888:participant;0.0.0.0:2181
server.2=zkserver2:2888:3888:participant;0.0.0.0:2181
server.3=zkserver3:2888:3888:participant;0.0.0.0:2181
...
​

如果能够看到集群中所有服务器的信息，并且模式显示为 Leader 或 Follower，则说明 Zookeeper 集群安装配置成功。

2.3.4 集群管理常用命令

• 启动集群: ./zkServer.sh start (在每台服务器上执行)

• 停止集群: ./zkServer.sh stop (在每台服务器上执行)

• 重启集群: ./zkServer.sh restart (在每台服务器上执行)

• 查看状态: ./zkServer.sh status (在每台服务器上执行)

• 连接客户端: ./zkCli.sh -server <host>:<port> (连接到指定服务器)

2.3.5 集群模式配置最佳实践

• 服务器数量: 建议使用奇数台服务器，例如 3 台、5 台或 7 台。

• 服务器硬件: 建议集群中所有服务器硬件配置保持一致，以保证性能均衡。

• 网络环境: 确保集群中所有服务器网络互通，延迟尽可能低。

• 数据目录和日志目录: 建议将数据目录 (dataDir) 和日志目录 (dataLogDir) 配置在不同的磁盘上，并使用高性能磁盘 (例如 SSD)。

• JVM 参数调优: 根据实际负载情况，合理配置 JVM 参数，例如堆内存大小、GC 策略等，以提高 Zookeeper 集群的性能和稳定性。

• 监控与告警: 建议配置 Zookeeper 集群的监控系统，例如使用 Prometheus + Grafana，监控集群的运行状态、性能指标等，并设置告警规则，及时发现和处理问题。

• 安全配置: 在生产环境中，需要考虑 Zookeeper 集群的安全配置，例如启用认证授权、SSL 加密等，防止未经授权的访问和数据泄露。

2.3.6 集群模式常见问题排查

• 集群无法启动:

  • 检查 zoo.cfg 配置文件是否正确，包括 server.X 配置、端口配置等。

  • 检查 myid 文件配置是否正确，是否与 zoo.cfg 中的 server.X ID 对应。

  • 检查服务器之间网络是否互通，防火墙是否放行 Zookeeper 使用的端口。

  • 查看 Zookeeper 日志文件 (/opt/zookeeper/logs)，分析错误信息。

• 集群启动后无法选举 Leader:

  • 检查集群服务器数量是否为奇数。

  • 检查 initLimit 和 syncLimit 参数配置是否合理，网络延迟较高时需要适当增大这两个参数的值。

  • 检查服务器时钟是否同步，集群服务器之间时钟偏差过大会导致 Leader 选举失败。建议配置 NTP 服务进行时间同步。

• 客户端连接失败:

  • 检查客户端连接的服务器地址和端口是否正确。

  • 检查服务器防火墙是否阻止客户端连接。

  • 检查 Zookeeper 服务器是否正常运行。

2.3.7 总结

本章节详细介绍了 Zookeeper 集群模式的安装与配置步骤，包括环境准备、安装步骤、配置详解、常用命令、最佳实践以及常见问题排查。通过本章节的学习，您应该能够成功搭建一个高可用、高可靠的 Zookeeper 集群，并了解集群模式的基本原理和配置方法。

在实际生产环境中，Zookeeper 集群的配置和管理可能会更加复杂，需要根据具体的业务需求和环境特点进行调整和优化。建议深入学习 Zookeeper 官方文档，并结合实际场景进行实践，不断积累经验，才能更好地应用 Zookeeper 技术。

希望本章节内容能够帮助您顺利完成 Zookeeper 集群模式的安装与配置。在后续章节中，我们将继续深入探讨 Zookeeper 的其他高级特性和应用场景。