8.5 备份与恢复 (Snapshot and Restore)

文档摘要

8.5 备份与恢复 (Snapshot and Restore) Elasticsearch 集群管理与运维：深入备份与恢复 (Snapshot and Restore) 在 Elasticsearch 集群的管理与运维中，数据安全和可靠性至关重要。备份与恢复 (Snapshot and Restore) 功能是 Elasticsearch 提供的核心机制，用于保护数据免受各种意外情况的影响，例如硬件故障、人为错误或数据损坏。Elasticsearch 版本在备份与恢复方面持续优化，本文将深入探讨其原理、实践操作以及最佳实践，助您构建稳健可靠的 Elasticsearch 集群。备份与恢复的重要性数据是现代应用的基石，对于 Elasticsearch 而言，索引中存储的数据更是核心资产。

8.5 备份与恢复 (Snapshot and Restore)

Elasticsearch 集群管理与运维：深入备份与恢复 (Snapshot and Restore)

在 Elasticsearch 集群的管理与运维中，数据安全和可靠性至关重要。备份与恢复 (Snapshot and Restore) 功能是 Elasticsearch 提供的核心机制，用于保护数据免受各种意外情况的影响，例如硬件故障、人为错误或数据损坏。Elasticsearch 版本在备份与恢复方面持续优化，本文将深入探讨其原理、实践操作以及最佳实践，助您构建稳健可靠的 Elasticsearch 集群。

1. 备份与恢复的重要性

数据是现代应用的基石，对于 Elasticsearch 而言，索引中存储的数据更是核心资产。以下情景凸显了备份与恢复的重要性：

灾难恢复 (Disaster Recovery)： 应对数据中心级别的故障，快速恢复业务至关重要。备份允许您在完全丢失数据的情况下，从快照恢复集群状态。
数据迁移与升级： 在集群迁移或版本升级前，备份可以作为安全网，确保在升级失败或迁移出现问题时，能够回滚到之前的状态。
人为错误恢复： 误删索引或错误更新数据是常见的运维错误，备份能够快速恢复到错误操作之前的状态。
合规性与审计： 某些行业或法规要求定期备份数据，以满足合规性审计需求。

Elasticsearch 的 Snapshot and Restore 功能提供了一种高效、可靠的机制来应对上述挑战。它采用逻辑备份的方式，而非物理文件拷贝，极大地提高了备份和恢复的效率和灵活性。

2. Snapshot and Restore 核心概念

在深入实践之前，理解 Snapshot and Restore 的核心概念至关重要。

2.1 快照 (Snapshot)

快照是 Elasticsearch 集群在特定时间点的逻辑备份。它并非数据的完整物理拷贝，而是集群状态和索引数据的元数据集合，以及指向实际数据文件的指针。这种设计使得快照非常轻量级且高效。

全局集群状态 (Global Cluster State): 包括集群设置、模板、索引元数据等。
索引数据 (Index Data): 每个索引的段 (segment) 文件。快照只备份自上次快照以来发生变化的数据段，实现增量备份，大幅节省存储空间和备份时间。

2.2 仓库 (Repository)

仓库是快照存储的地方。Elasticsearch 支持多种仓库类型，您可以根据实际需求选择合适的存储介质。常见的仓库类型包括：

共享文件系统仓库 (Shared Filesystem Repository): 将快照存储在集群所有节点都能访问的共享文件系统上，例如 NFS、SMB/CIFS。
Amazon S3 仓库 (S3 Repository): 将快照存储在 Amazon S3 云存储服务中，适用于云环境和异地备份。
HDFS 仓库 (HDFS Repository): 将快照存储在 Hadoop 分布式文件系统 (HDFS) 中，适用于已部署 Hadoop 集群的环境。
Azure Blob Storage 仓库 (Azure Repository): 将快照存储在 Azure Blob Storage 云存储服务中，适用于 Azure 云环境。
Google Cloud Storage 仓库 (GCS Repository): 将快照存储在 Google Cloud Storage 云存储服务中，适用于 GCP 云环境。

选择仓库类型时，需要考虑以下因素：

性能： 不同仓库类型的读写性能不同，影响备份和恢复的速度。
可靠性： 云存储服务通常提供更高的可靠性和持久性。
成本： 不同存储介质的成本差异较大。
网络带宽： 云存储仓库依赖网络带宽，备份和恢复速度受网络限制。

2.3 快照过程 (Snapshot Process)

快照过程主要包括以下步骤：

客户端发起创建快照请求： 客户端通过 Elasticsearch API 向集群发起创建快照的请求，指定仓库名称和快照名称。
协调节点处理请求： 协调节点接收请求后，负责协调整个快照过程。
获取集群状态： 协调节点从 Master 节点获取最新的全局集群状态。
选择主分片： 对于每个索引的分片，协调节点选择主分片作为快照数据源。
主分片复制数据到仓库： 主分片将自身的数据段文件复制到指定的仓库中。这个过程是增量的，只复制自上次快照以来发生变化的数据段。
更新快照元数据： 协调节点更新快照的元数据信息，包括快照状态、索引列表、数据文件列表等。
客户端接收响应： 协调节点向客户端返回快照创建成功的响应。

2.4 恢复过程 (Restore Process)

恢复过程与快照过程相反，主要包括以下步骤：

客户端发起恢复快照请求： 客户端通过 Elasticsearch API 向集群发起恢复快照的请求，指定仓库名称、快照名称以及要恢复的索引。
协调节点处理请求： 协调节点接收请求后，负责协调整个恢复过程。
读取快照元数据： 协调节点从指定的仓库中读取快照的元数据信息。
创建或使用索引： 协调节点根据快照元数据创建新的索引，或者使用已存在的索引（如果索引已存在且允许恢复到该索引）。
分配分片： 协调节点将快照中的分片分配给集群中的节点。
分片恢复数据： 分片从仓库中读取快照数据，并恢复到本地磁盘。
客户端接收响应： 协调节点向客户端返回恢复快照成功的响应。

3. 代码实践：Snapshot and Restore 操作详解

接下来，我们将通过代码示例详细介绍如何在 Elasticsearch 中进行 Snapshot and Restore 操作。

3.1 注册仓库 (Register Repository)

在进行快照操作之前，首先需要注册一个仓库。以下示例分别演示了如何注册共享文件系统仓库和 S3 仓库。

3.1.1 注册共享文件系统仓库

假设共享文件系统路径为 /mnt/elasticsearch_backup。

请求:


PUT _snapshot/my_shared_fs_repository
{
  "type": "fs",
  "settings": {
    "location": "/mnt/elasticsearch_backup",
    "compress": true
  }
}

参数解释:

my_shared_fs_repository: 仓库名称，自定义。
type: 仓库类型，fs 表示共享文件系统。
settings.location: 共享文件系统路径。
settings.compress: 是否压缩快照数据，默认为 true。

响应:


{
  "acknowledged": true
}

3.1.2 注册 S3 仓库

假设您已经配置了 AWS 凭证（可以通过环境变量、配置文件或 IAM Role 等方式）。

请求:


PUT _snapshot/my_s3_repository
{
  "type": "s3",
  "settings": {
    "bucket": "my-elasticsearch-backups",
    "region": "us-west-2",
    "compress": true
  }
}

参数解释:

my_s3_repository: 仓库名称，自定义。
type: 仓库类型，s3 表示 S3 仓库。
settings.bucket: S3 存储桶名称。
settings.region: S3 区域。
settings.compress: 是否压缩快照数据，默认为 true。

注意: 注册 S3 仓库需要安装 repository-s3 插件。

3.2 验证仓库 (Verify Repository)

注册仓库后，建议验证仓库是否可以正常访问。

请求:


POST _snapshot/my_shared_fs_repository/_verify

或


POST _snapshot/my_s3_repository/_verify

响应:

如果仓库验证成功，将返回集群节点列表。如果验证失败，将返回错误信息，需要检查仓库配置和权限。

3.3 获取仓库信息 (Get Repository Information)

可以获取已注册仓库的信息。

请求:


GET _snapshot/my_shared_fs_repository

或


GET _snapshot/my_s3_repository

响应:


{
  "my_shared_fs_repository": {
    "type": "fs",
    "settings": {
      "location": "/mnt/elasticsearch_backup",
      "compress": "true"
    }
  }
}

3.4 创建快照 (Create Snapshot)

创建快照是将集群数据备份到仓库的关键步骤。

3.4.1 创建所有索引的快照

请求:


PUT _snapshot/my_shared_fs_repository/snapshot_all_indices
{
  "wait_for_completion": true
}

参数解释:

my_shared_fs_repository: 仓库名称。
snapshot_all_indices: 快照名称，自定义。
wait_for_completion: 是否等待快照完成，true 表示同步等待，false 表示异步创建。建议在脚本中使用 true，方便监控快照状态。

3.4.2 创建指定索引的快照

请求:


PUT _snapshot/my_shared_fs_repository/snapshot_specific_indices
{
  "indices": "index-1,index-2",
  "wait_for_completion": true
}

参数解释:

indices: 要备份的索引列表，逗号分隔。可以使用通配符 * 匹配多个索引，例如 "index-*"。

3.4.3 快照选项

创建快照时，还可以使用其他选项：

ignore_unavailable: 如果索引不存在或已关闭，是否忽略错误，默认为 false。
include_global_state: 是否包含集群全局状态，默认为 true。建议备份全局状态，以便完整恢复集群。
partial: 是否允许部分快照，默认为 false。如果设置为 true，即使某些分片备份失败，快照也会创建成功，但快照状态为 PARTIAL。通常不建议使用部分快照，除非您明确知道某些数据可以丢失。

3.5 获取快照信息 (Get Snapshot Information)

可以获取快照的详细信息，包括状态、开始时间、结束时间、索引列表等。

请求:


GET _snapshot/my_shared_fs_repository/snapshot_all_indices

或


GET _snapshot/my_shared_fs_repository/_all  # 获取仓库中所有快照的信息

响应:


{
  "snapshots": [
    {
      "snapshot": "snapshot_all_indices",
      "uuid": "...",
      "version": "8.5.0",
      "indices": [
        "index-1",
        "index-2"
      ],
      "state": "SUCCESS",
      "start_time": "2023-10-27T10:00:00.000Z",
      "start_time_in_millis": 1698391200000,
      "end_time": "2023-10-27T10:00:10.000Z",
      "end_time_in_millis": 1698391210000,
      "duration_in_millis": 10000,
      "failures": [],
      "shards": {
        "total": 10,
        "failed": 0,
        "successful": 10
      }
    }
  ]
}

3.6 删除快照 (Delete Snapshot)

不再需要的快照可以删除，释放存储空间。

请求:


DELETE _snapshot/my_shared_fs_repository/snapshot_all_indices

响应:


{
  "acknowledged": true
}

3.7 恢复快照 (Restore Snapshot)

恢复快照是将备份数据恢复到 Elasticsearch 集群的关键步骤。

3.7.1 恢复所有索引

请求:


POST _snapshot/my_shared_fs_repository/snapshot_all_indices/_restore
{
  "wait_for_completion": true
}

3.7.2 恢复指定索引

请求:


POST _snapshot/my_shared_fs_repository/snapshot_all_indices/_restore
{
  "indices": "index-1,index-2",
  "wait_for_completion": true
}

3.7.3 恢复选项

恢复快照时，可以使用以下选项：

rename_pattern 和 rename_replacement: 允许在恢复时重命名索引。例如，将 index-(.+) 重命名为 restored-index-$1。
index_settings: 允许在恢复时覆盖索引设置。
ignore_unavailable: 如果快照中某些索引不存在，是否忽略错误，默认为 false。
include_global_state: 是否恢复全局集群状态，默认为 true。通常只在完全恢复集群时才需要恢复全局状态。
partial: 是否允许部分恢复，默认为 false。通常不建议使用部分恢复。

示例：恢复索引并重命名


POST _snapshot/my_shared_fs_repository/snapshot_all_indices/_restore
{
  "indices": "index-1,index-2",
  "rename_pattern": "index-(.+)",
  "rename_replacement": "restored-index-$1",
  "wait_for_completion": true
}

3.8 获取恢复状态 (Get Restore Status)

可以获取正在进行的恢复操作的状态。

请求:


GET _recovery

或


GET _cat/recovery?v

响应: 返回正在恢复的分片信息，包括恢复进度、源仓库、目标索引等。

4. 高级主题与最佳实践

4.1 增量快照的优势

Elasticsearch 快照是增量的，这意味着后续快照只备份自上次快照以来发生变化的数据。这带来了显著的优势：

节省存储空间： 增量备份大幅减少了快照占用的存储空间。
缩短备份时间： 由于只备份变化的数据，快照创建速度更快。
降低集群负载： 减少了数据传输量，降低了集群在备份期间的负载。

4.2 快照生命周期管理 (SLM)

Elasticsearch 提供了快照生命周期管理 (SLM) 功能，可以自动化快照的创建、保留和删除。SLM 策略可以根据时间计划或事件触发自动执行快照操作，简化了备份管理。

示例 SLM 策略:


PUT _slm/policy/daily-backup-policy
{
  "schedule": "0 0 0 * * ?",  # 每天凌晨 0 点执行
  "name": "<daily-snap-{now/d}>", # 快照名称格式
  "repository": "my_shared_fs_repository",
  "config": {
    "indices": ["*"],
    "include_global_state": true
  },
  "retention": {
    "expire_after": "30d", # 保留 30 天
    "delete_searchable_snapshots": false
  }
}

4.3 安全性考虑

仓库访问权限控制： 确保只有授权用户才能访问快照仓库，防止未经授权的访问和篡改。
数据加密： 考虑对快照数据进行加密存储，例如使用 S3 服务器端加密或客户端加密。
网络安全： 如果使用云存储仓库，确保网络连接安全可靠。

4.4 性能优化

合理选择仓库类型： 根据性能需求选择合适的仓库类型。本地共享文件系统仓库通常性能较高，但可靠性较低。云存储仓库可靠性高，但性能可能受网络带宽限制。
调整快照速率限制： Elasticsearch 允许配置快照的速率限制，控制备份对集群性能的影响。可以使用 indices.recovery.max_bytes_per_sec 设置限制。
监控快照进度： 及时监控快照进度和状态，确保备份操作正常进行。

5. 总结

Elasticsearch 的 Snapshot and Restore 功能是保障数据安全和可靠性的重要工具。本文深入探讨了其核心概念、代码实践和最佳实践，涵盖了仓库注册、快照创建、恢复操作以及高级主题。通过合理利用 Snapshot and Restore 功能，并结合 SLM 策略，您可以构建稳健可靠的 Elasticsearch 集群，有效应对各种数据风险，确保业务的持续稳定运行。

希望本文能够帮助您更好地理解和应用 Elasticsearch 的备份与恢复功能。在实际应用中，请根据您的具体环境和需求进行配置和优化，以达到最佳的备份效果和性能。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/206-elasticsearch%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E5%AE%9E%E6%88%98%E6%95%99%E7%A8%8B

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流