Elasticsearch

本文集文档发布于灏天文库

1.3 Elasticsearch 数据模型

文档摘要

1.3 Elasticsearch 数据模型 Elasticsearch 数据模型详解：构建高效搜索与分析基石 1.3 Elasticsearch 数据模型 Elasticsearch 的数据模型并非传统的关系型数据库模型，而是基于 文档 (Document) 的模型。理解这一模型是掌握 Elasticsearch 的关键第一步。 1.3.1 核心概念：文档 (Document) 在 Elasticsearch 中，文档 (Document) 是数据的基本单元。它类似于关系型数据库中的一行记录，但更加灵活和强大。文档以 JSON (JavaScript Object Notation) 格式表示，这使得它可以存储结构化、半结构化甚至非结构化的数据。

1.3 Elasticsearch 数据模型

Elasticsearch 数据模型详解：构建高效搜索与分析基石

1.3 Elasticsearch 数据模型

Elasticsearch 的数据模型并非传统的关系型数据库模型，而是基于 文档 (Document) 的模型。理解这一模型是掌握 Elasticsearch 的关键第一步。

1.3.1 核心概念：文档 (Document)

在 Elasticsearch 中，文档 (Document) 是数据的基本单元。它类似于关系型数据库中的一行记录，但更加灵活和强大。文档以 JSON (JavaScript Object Notation) 格式表示，这使得它可以存储结构化、半结构化甚至非结构化的数据。

JSON 文档的特点：

  • 键值对 (Key-Value Pairs): 数据以键值对的形式组织，键 (Key) 代表字段名，值 (Value) 代表字段值。

  • 层级结构 (Hierarchical Structure): JSON 支持嵌套结构，允许在文档中表示复杂的数据关系。

  • 数据类型多样性 (Data Type Flexibility): JSON 支持多种数据类型，如字符串、数字、布尔值、数组和对象，Elasticsearch 可以根据数据自动或显式地映射这些类型。

代码示例 1：一个简单的 JSON 文档

{
  "product_id": "PROD-123",
  "name": "Elasticsearch 权威指南",
  "description": "深入理解 Elasticsearch 的核心概念和实践",
  "price": 59.99,
  "tags": ["搜索引擎", "大数据", "NoSQL"],
  "author": {
    "name": "Clinton Gormley",
    "affiliation": "Elastic"
  }
}
​

文档的关键要素：

  • 字段 (Field): 文档中的每个键值对都代表一个字段。例如，product_id、name、price 等都是字段。

  • 字段值 (Field Value): 字段对应的值，例如 "PROD-123"、"Elasticsearch 权威指南"、59.99 等。

  • 数据类型 (Data Type): 每个字段值都有一个数据类型，例如 product_id 可以是文本或关键词，price 可以是浮点数，tags 可以是字符串数组。Elasticsearch 会自动或根据映射配置识别和处理这些数据类型。

mermaid graph TD 图：文档结构

文档的意义：

文档是 Elasticsearch 进行索引和搜索的基本单位。Elasticsearch 会对文档进行索引，使其可以被快速检索。查询操作也是针对文档进行的，Elasticsearch 会返回匹配查询条件的文档。

1.3.2 核心概念：索引 (Index)

索引 (Index) 在 Elasticsearch 中扮演着至关重要的角色。它是一个逻辑命名空间，用于组织和存储相关的文档。你可以将索引类比为关系型数据库中的数据库 (Database)，但它们之间存在一些关键区别。

索引的特点：

  • 文档的容器 (Container for Documents): 一个索引包含一组结构相似的文档。例如，你可以创建一个名为 products 的索引来存储所有商品文档，或者创建一个名为 logs-2023-10 的索引来存储 2023 年 10 月份的日志文档。

  • 倒排索引 (Inverted Index): Elasticsearch 使用倒排索引来加速搜索。索引是倒排索引的核心数据结构，它将文档中的词项 (Term) 映射到包含这些词项的文档列表，从而实现快速的全文搜索。

  • 可配置的设置 (Configurable Settings): 索引可以配置各种设置，例如分片 (Shards) 和副本 (Replicas) 的数量、分析器 (Analyzers) 等，以优化性能和可靠性。

  • 动态模式 (Dynamic Schema): Elasticsearch 默认支持动态模式，这意味着你可以直接索引文档，Elasticsearch 会自动推断字段类型并创建映射 (Mapping)。当然，你也可以显式地定义映射来更精细地控制数据模型。

代码示例 2：创建索引

PUT /products
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1
  },
  "mappings": {
    "properties": {
      "product_id": { "type": "keyword" },
      "name": { "type": "text" },
      "description": { "type": "text" },
      "price": { "type": "float" },
      "tags": { "type": "keyword" },
      "author": {
        "properties": {
          "name": { "type": "text" },
          "affiliation": { "type": "keyword" }
        }
      }
    }
  }
}
​

代码示例 3：向索引中添加文档

POST /products/_doc/PROD-123
{
  "product_id": "PROD-123",
  "name": "Elasticsearch 权威指南",
  "description": "深入理解 Elasticsearch 的核心概念和实践",
  "price": 59.99,
  "tags": ["搜索引擎", "大数据", "NoSQL"],
  "author": {
    "name": "Clinton Gormley",
    "affiliation": "Elastic"
  }
}
​

mermaid graph TD 图：索引与文档关系

索引的意义：

索引是组织和管理数据的关键。通过合理的索引设计，可以有效地管理数据，提高搜索效率，并支持各种分析操作。

1.3.3 核心概念：字段数据类型 (Field Data Types)

Elasticsearch 支持丰富的数据类型，用于定义文档中字段的性质和行为。选择合适的数据类型对于优化存储、搜索和分析至关重要。

常见的数据类型：

  • 核心数据类型 (Core Data Types):

    • Text (文本): 用于索引全文文本，例如文章内容、产品描述等。text 字段会被分析 (Analysis)，进行分词、词干提取等处理，以便进行全文搜索。

    • Keyword (关键词): 用于索引结构化内容，例如标签、分类、ID 等。keyword 字段不会被分析，其值会被完整地索引，适用于精确匹配、排序和聚合。

    • Numeric (数值): 用于索引数值数据，例如整数、浮点数、长整型等。Elasticsearch 提供了多种数值类型，如 integer, long, float, double 等，可以根据数据范围和精度选择合适的类型。

    • Date (日期): 用于索引日期和时间数据。Elasticsearch 提供了 date 类型，可以灵活地处理各种日期格式，并支持日期范围查询和聚合。

    • Boolean (布尔): 用于索引布尔值，例如 true 或 false。

    • Binary (二进制): 用于索引二进制数据，例如图片、音频等。

    • Range (范围): 用于索引数值或日期范围，例如价格范围、时间范围等。

  • 复合数据类型 (Complex Data Types):

    • Object (对象): 允许在文档中嵌套 JSON 对象，用于表示复杂的数据结构。

    • Nested (嵌套): 类似于 Object 类型，但专门用于处理数组对象，保持数组中对象的独立性，支持对嵌套对象进行独立的查询和聚合。

  • 地理数据类型 (Geo Data Types):

    • Geo_point (地理坐标点): 用于索引地理坐标点，例如经纬度。支持地理位置查询、距离计算等。

    • Geo_shape (地理形状): 用于索引地理形状，例如多边形、线段等。支持地理形状查询。

  • 专门数据类型 (Specialized Data Types):

    • IP (IP 地址): 用于索引 IPv4 和 IPv6 地址。

    • Completion (自动完成): 用于实现自动完成和搜索建议功能。

    • Token_count (词条计数): 用于统计文本字段中的词条数量。

    • Join (连接): 用于在同一索引中建立父子关系文档，实现类似关系型数据库的连接查询 (需要谨慎使用，性能可能不如扁平化数据模型)。

代码示例 4：不同数据类型的字段映射

"mappings": {
  "properties": {
    "product_id": { "type": "keyword" },
    "name": { "type": "text" },
    "price": { "type": "float" },
    "publish_date": { "type": "date", "format": "yyyy-MM-dd" },
    "is_available": { "type": "boolean" },
    "location": { "type": "geo_point" },
    "author": {
      "properties": {
        "name": { "type": "text" },
        "age": { "type": "integer" }
      }
    },
    "tags": { "type": "keyword" },
    "reviews": {
      "type": "nested",
      "properties": {
        "rating": { "type": "integer" },
        "comment": { "type": "text" }
      }
    }
  }
}
​

字段数据类型的选择原则：

  • 根据数据特性选择: 选择最适合字段数据特性的类型，例如文本数据选择 text，数值数据选择 numeric，日期数据选择 date 等。

  • 考虑搜索需求: text 和 keyword 类型在搜索行为上有所不同。text 支持全文搜索，而 keyword 适用于精确匹配。根据搜索需求选择合适的类型。

  • 优化存储和性能: 选择合适的数值类型可以节省存储空间，提高查询性能。例如，如果数值范围较小，可以使用 integer 而不是 long。

  • 显式映射 vs. 动态映射: 对于关键字段和需要精细控制的字段，建议显式定义映射。对于非关键字段或快速原型开发，可以使用动态映射。

1.3.4 复杂数据模型：对象 (Object) 和嵌套 (Nested)

Elasticsearch 提供了 object 和 nested 两种复合数据类型，用于处理文档中的复杂数据结构和关系。

对象 (Object) 类型：

  • JSON 对象的嵌套: object 类型允许在文档中嵌套 JSON 对象，用于表示具有层级关系的数据。

  • 扁平化处理: Elasticsearch 在内部将 object 类型的字段扁平化处理，将嵌套对象的字段提取到顶层文档中。这意味着嵌套对象中的字段无法独立查询和聚合。

代码示例 5：Object 类型字段

"author": {
  "properties": {
    "name": { "type": "text" },
    "affiliation": { "type": "keyword" }
  }
}
​

嵌套 (Nested) 类型：

  • 数组对象的独立性: nested 类型专门用于处理数组对象。它将数组中的每个对象作为独立的文档进行索引，保持了数组中对象的独立性。

  • 嵌套查询和聚合: nested 类型支持对嵌套对象进行独立的查询和聚合，可以精确地处理数组对象内部的关系。

代码示例 6：Nested 类型字段

"reviews": {
  "type": "nested",
  "properties": {
    "rating": { "type": "integer" },
    "comment": { "type": "text" }
  }
}
​

Object vs. Nested 的选择：

  • Object: 适用于简单的层级结构，不需要对嵌套对象进行独立查询和聚合的场景。例如，作者信息、地址信息等。

  • Nested: 适用于处理数组对象，需要对数组中的对象进行独立查询和聚合的场景。例如，商品评论、订单明细等。当需要精确查询和聚合数组对象内部的字段时，必须使用 nested 类型。

代码示例 7：Nested 类型字段的查询

GET /products/_search
{
  "query": {
    "nested": {
      "path": "reviews",
      "query": {
        "bool": {
          "must": [
            { "match": { "reviews.rating": 5 } },
            { "match": { "reviews.comment": "非常棒" } }
          ]
        }
      }
    }
  }
}
​

mermaid graph TD 图：Object vs Nested

1.3.5 数据模型设计最佳实践

良好的数据模型设计是构建高效 Elasticsearch 应用的基础。以下是一些数据模型设计的最佳实践：

  1. 扁平化数据模型优先: 在可能的情况下，尽量使用扁平化的数据模型，避免过度嵌套。扁平化模型通常具有更好的性能和更简单的查询。

  2. 选择合适的数据类型: 根据字段的数据特性和查询需求，选择最合适的数据类型。避免使用通用的 text 类型处理所有字段，合理使用 keyword、numeric、date 等类型。

  3. 合理使用 keyword 和 text 类型: 理解 keyword 和 text 类型的区别，根据字段的用途选择合适的类型。对于需要精确匹配、排序和聚合的字段，使用 keyword 类型。对于需要全文搜索的字段，使用 text 类型。

  4. 谨慎使用 nested 类型: nested 类型虽然强大，但会增加索引和查询的开销。只在必要时使用 nested 类型，例如需要对数组对象进行独立查询和聚合的场景。

  5. 考虑数据增长和扩展性: 在设计数据模型时，要考虑到未来的数据增长和扩展需求。合理规划索引的结构，以便支持水平扩展和高效的数据管理。

  6. 根据查询模式优化: 根据应用的查询模式优化数据模型。例如，如果应用主要进行全文搜索，可以优化 text 字段的分析器配置。如果应用主要进行聚合分析，可以合理使用 keyword 和 numeric 类型，并预先计算一些聚合结果。

  7. 文档大小控制: 尽量控制单个文档的大小，避免文档过大。过大的文档会影响索引和查询性能。如果文档过大，可以考虑拆分成多个文档或使用父子文档关系 (谨慎使用)。

  8. 版本控制和演进: 数据模型可能会随着业务发展而变化。要建立数据模型的版本控制机制，并规划数据模型的演进策略，以便平滑地升级和迁移数据。

代码示例 8：数据模型设计示例 - 电商商品索引

PUT /ecommerce_products
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  },
  "mappings": {
    "properties": {
      "product_id": { "type": "keyword" },
      "name": { "type": "text", "analyzer": "ik_max_word" },  // 使用中文分词器
      "description": { "type": "text", "analyzer": "ik_max_word" },
      "price": { "type": "float" },
      "category": { "type": "keyword" },
      "tags": { "type": "keyword" },
      "brand": { "type": "keyword" },
      "stock": { "type": "integer" },
      "sales_count": { "type": "long" },
      "created_at": { "type": "date" },
      "updated_at": { "type": "date" },
      "image_url": { "type": "keyword", "index": false }, // 不索引图片 URL
      "attributes": { // 商品属性，使用 Object 类型
        "properties": {
          "color": { "type": "keyword" },
          "size": { "type": "keyword" },
          "material": { "type": "keyword" }
        }
      },
      "reviews": { // 商品评论，使用 Nested 类型
        "type": "nested",
        "properties": {
          "user_id": { "type": "keyword" },
          "rating": { "type": "integer" },
          "comment": { "type": "text", "analyzer": "ik_smart" },
          "created_at": { "type": "date" }
        }
      }
    }
  }
}
​

代码实践总结：

  • 索引创建 (PUT /index_name): 定义索引的 settings 和 mappings。

  • 映射定义 (mappings.properties): 定义字段的数据类型和属性。

  • 文档索引 (POST /index_name/_doc/document_id): 将 JSON 文档添加到索引中。

  • 查询 (GET /index_name/_search): 使用各种查询 DSL 查询文档，包括针对 nested 类型的查询。

总结：

Elasticsearch 的数据模型以文档为核心，通过索引组织和管理文档。理解文档、索引和字段数据类型是构建高效 Elasticsearch 应用的基础。合理选择数据类型，设计扁平化数据模型，并遵循最佳实践，可以构建高性能、可扩展的搜索和分析系统。在实际应用中，需要根据具体的业务需求和数据特点，灵活地设计和优化数据模型，才能充分发挥 Elasticsearch 的强大功能。

发布者: 作者: 转发
评论区 (0)
U
0/500