5.1 数据仓库工具 Hive

文档摘要

5.1 数据仓库工具 Hive Hadoop 生态系统工具与应用 5.1 数据仓库工具 Hive 在Hadoop生态系统中，数据仓库工具Hive扮演着至关重要的角色。随着大数据时代的到来，企业积累的数据量呈指数级增长。这些数据往往以各种非结构化或半结构化形式存储在Hadoop分布式文件系统（HDFS）中。如何高效地分析和利用这些海量数据，挖掘数据背后的价值，成为了一个关键挑战。Hive应运而生，它为用户提供了一个类似于传统关系型数据库的SQL接口，使得熟悉SQL的数据分析师和开发人员能够轻松地查询和分析Hadoop上的数据，而无需编写复杂的MapReduce程序。 5.1.1 Hive 概述什么是 Hive？ Apache Hive是一个构建在Hadoop之上的数据仓库基础设施工具。

5.1 数据仓库工具 Hive

5. Hadoop 生态系统工具与应用

5.1 数据仓库工具 Hive

在Hadoop生态系统中，数据仓库工具Hive扮演着至关重要的角色。随着大数据时代的到来，企业积累的数据量呈指数级增长。这些数据往往以各种非结构化或半结构化形式存储在Hadoop分布式文件系统（HDFS）中。如何高效地分析和利用这些海量数据，挖掘数据背后的价值，成为了一个关键挑战。Hive应运而生，它为用户提供了一个类似于传统关系型数据库的SQL接口，使得熟悉SQL的数据分析师和开发人员能够轻松地查询和分析Hadoop上的数据，而无需编写复杂的MapReduce程序。

5.1.1 Hive 概述

什么是 Hive？

Apache Hive是一个构建在Hadoop之上的数据仓库基础设施工具。它提供了一种类似于SQL的查询语言——HiveQL，可以将结构化的数据文件映射为数据库表，并允许用户使用SQL语句对这些数据进行查询、分析和汇总。本质上，Hive是将HiveQL语句转换成一系列MapReduce或Spark任务，然后在Hadoop集群上执行。因此，Hive本身并不存储数据，也不进行数据计算，它只是一个SQL到MapReduce/Spark的转换器和执行引擎。

Hive 的作用

Hive在Hadoop生态系统中主要承担以下作用：

数据仓库构建： Hive提供数据组织和管理能力，可以将分散在HDFS上的数据组织成逻辑上的数据库和表，构建企业级数据仓库。
SQL-on-Hadoop： HiveQL语言与SQL语法高度相似，降低了数据分析师和开发人员的学习门槛，使得他们可以使用熟悉的SQL技能来处理Hadoop数据。
数据查询与分析： Hive可以将复杂的查询语句转换成高效的MapReduce或Spark任务，实现对海量数据的快速查询、过滤、聚合、连接等分析操作。
数据转换与ETL： Hive可以用于数据清洗、转换和加载（ETL）过程，将原始数据转换成适合分析和挖掘的格式，并加载到数据仓库中。
报表生成： Hive可以用于生成各种报表，例如业务指标报表、用户行为分析报表等，为业务决策提供数据支持。

Hive 的优势与劣势

优势：

易用性： HiveQL语法接近SQL，学习曲线平缓，降低了使用门槛。
可扩展性： Hive构建在Hadoop之上，继承了Hadoop的横向扩展能力，可以处理PB级别甚至更大规模的数据。
高容错性： Hive任务运行在Hadoop集群上，具有Hadoop的高容错性，即使部分节点发生故障，任务也能继续执行。
支持多种数据格式： Hive支持多种数据格式，例如TextFile、SequenceFile、ORC、Parquet等，可以灵活处理不同类型的数据。
元数据管理： Hive Metastore负责管理Hive表的元数据信息，例如表结构、数据位置等，方便用户管理和维护数据。
成本效益： 使用开源的Hadoop和Hive，可以降低数据仓库建设和维护的成本。

劣势：

延迟较高： HiveQL语句需要转换成MapReduce或Spark任务执行，启动和调度任务需要一定时间，因此查询延迟相对较高，不适合低延迟的在线查询场景。
实时性较差： Hive主要用于离线数据分析，实时性较差，不适合需要实时响应的应用场景。
调优复杂： Hive性能调优相对复杂，需要深入理解Hive的执行原理和MapReduce/Spark的特性。
SQL功能受限： HiveQL虽然类似于SQL，但并非完全兼容SQL标准，某些高级SQL特性可能不支持，例如存储过程、触发器等。

Hive 的应用场景

Hive 主要应用于以下场景：

离线数据分析： 对海量数据进行离线批处理分析，例如用户行为分析、日志分析、市场分析、风险分析等。
数据仓库构建： 构建企业级数据仓库，整合来自不同数据源的数据，提供统一的数据视图。
ETL 流程： 作为 ETL 流程中的数据转换和加载工具，将原始数据清洗、转换成目标格式，并加载到数据仓库中。
报表生成： 生成各种业务报表，例如销售报表、用户活跃度报表、财务报表等。
数据挖掘与机器学习： 作为数据预处理工具，为数据挖掘和机器学习算法提供清洗和准备好的数据。

5.1.2 Hive 架构

Hive 的架构主要由以下几个核心组件构成，下图展示了 Hive 的架构图：

组件详解：

客户端接口 (Client Interface)： Hive 提供了多种客户端接口，允许用户与 Hive 交互：
- CLI (Command Line Interface)： Hive 的命令行客户端，用户可以通过命令行方式执行 HiveQL 语句。
- WebUI (Hive View)： Hive 的 Web 用户界面，提供更友好的图形化操作界面。
- JDBC/ODBC 驱动： 允许应用程序通过 JDBC 或 ODBC 协议连接 Hive，例如 Java 程序、BI 工具等。
Hive Driver： Driver 组件是 Hive 的核心控制中心，负责接收用户提交的 HiveQL 语句，并将语句传递给 Compiler 进行编译。Driver 还负责管理 HiveQL 语句的生命周期，例如会话管理、事务管理等。
Compiler (编译器)： Compiler 组件负责将 HiveQL 语句编译成执行计划。编译过程包括：
- 语法解析 (Parse)： 将 HiveQL 语句解析成抽象语法树 (AST)。
- 语义分析 (Semantic Analysis)： 检查 HiveQL 语句的语义是否正确，例如表是否存在、列是否存在、数据类型是否匹配等。
- 逻辑计划生成 (Logical Plan Generation)： 根据 AST 生成逻辑执行计划，例如操作符树。
Optimizer (优化器)： Optimizer 组件负责对逻辑执行计划进行优化，提高查询性能。优化策略包括：
- 谓词下推 (Predicate Pushdown)： 将过滤条件尽可能提前应用，减少数据读取量。
- 列裁剪 (Column Pruning)： 只读取查询需要的列，减少数据传输量。
- Join 优化： 选择合适的 Join 算法，例如 MapJoin、ReduceJoin等。
- MapReduce 任务优化： 例如合并 MapReduce 任务、调整 MapReduce 参数等。
Executor (执行器)： Executor 组件负责执行优化后的执行计划。执行过程通常包括：
- 任务调度 (Task Scheduling)： 将执行计划分解成一系列 MapReduce 或 Spark 任务，并提交到 Hadoop 集群的 YARN (Yet Another Resource Negotiator) 进行资源调度和任务执行。
- 任务监控 (Task Monitoring)： 监控 MapReduce 或 Spark 任务的执行状态。
- 结果收集 (Result Collection)： 收集 MapReduce 或 Spark 任务的执行结果，并将结果返回给客户端。
Metastore (元数据存储)： Metastore 组件负责存储 Hive 的元数据信息，例如数据库、表、列、分区、数据类型、数据存储位置等。Metastore 可以使用关系型数据库 (例如 Derby、MySQL、PostgreSQL) 或 Hadoop HDFS 作为存储介质。使用 Metastore 可以实现元数据的集中管理和共享，方便用户管理和维护数据。
Hadoop 集群 (HDFS & YARN)： Hadoop 集群是 Hive 的底层基础设施，包括：
- HDFS (Hadoop Distributed File System)： 用于存储 Hive 表的数据文件。
- YARN (Yet Another Resource Negotiator)： 用于资源管理和任务调度，负责分配计算资源给 Hive 任务并监控任务执行。

工作流程：

用户通过客户端接口 (CLI, WebUI, JDBC/ODBC) 提交 HiveQL 查询语句。
Hive Driver 接收查询语句，并将其传递给 Compiler。
Compiler 对查询语句进行语法解析、语义分析和逻辑计划生成。
Optimizer 对逻辑计划进行优化，生成优化后的物理执行计划。
Executor 执行优化后的执行计划，将计划分解成 MapReduce 或 Spark 任务，并提交到 Hadoop 集群的 YARN 上执行。
YARN 负责资源调度和任务执行，MapReduce 或 Spark 任务在 Hadoop 集群的 DataNode 上读取 HDFS 数据，进行计算，并将结果写回 HDFS。
Executor 收集任务执行结果，并将结果返回给客户端。
Metastore 存储 Hive 的元数据信息，供 Hive 组件访问和管理。

5.1.3 Hive 数据模型

Hive 的数据模型与传统关系型数据库的数据模型类似，主要包括以下概念：

数据库 (Database)： 数据库是表的逻辑容器，用于组织和管理表。Hive 中的数据库类似于关系型数据库中的 schema。Hive 默认有一个名为 default 的数据库。
表 (Table)： 表是数据的逻辑组织形式，由行和列组成。Hive 中的表数据存储在 HDFS 上。Hive 表可以分为两种类型：
- 内部表 (Managed Table)： 也称为管理表。Hive 完全管理内部表的数据和元数据。当删除内部表时，Hive 会同时删除表的数据和元数据。内部表适用于 Hive 完全控制数据生命周期的场景。
- 外部表 (External Table)： Hive 只管理外部表的元数据，不管理数据本身。外部表的数据存储在 HDFS 的指定位置，可以被 Hive 以外的其他工具访问和管理。当删除外部表时，Hive 只删除表的元数据，不会删除表的数据。外部表适用于数据需要被多个工具共享或数据生命周期不由 Hive 完全控制的场景。
分区 (Partition)： 分区是将表数据按照一个或多个分区列的值进行分割存储的方式。分区可以提高查询效率，特别是针对分区列进行过滤查询时，Hive 可以只扫描相关分区的数据，减少数据扫描量。分区在 HDFS 上表现为表目录下的子目录。
桶 (Bucket)： 桶是将表数据按照桶列的哈希值分散到多个文件中存储的方式。桶可以进一步提高查询效率，特别是在 Join 操作时，可以利用桶的哈希特性进行优化。桶在 HDFS 上表现为分区目录下的文件。

数据类型：

Hive 支持多种数据类型，包括：

基本数据类型：
- 数值类型： TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL
- 布尔类型： BOOLEAN
- 字符串类型： STRING, VARCHAR, CHAR
- 日期类型： TIMESTAMP, DATE
- 二进制类型： BINARY
复杂数据类型：
- 数组 (ARRAY)： 有序的同类型元素集合。
- 映射 (MAP)： 键值对集合，键和值可以是不同的数据类型。
- 结构体 (STRUCT)： 一组命名字段的集合，字段可以是不同的数据类型。
- 联合体 (UNION)： 可以存储多种数据类型的值，但同一时刻只能存储一种类型的值 (Hive 较少使用)。

数据存储格式：

Hive 支持多种数据存储格式，常见的格式包括：

TextFile： 文本文件格式，以行分隔符和列分隔符分隔数据，易于阅读和编辑，但压缩率和查询性能较差。
SequenceFile： 二进制文件格式，以键值对形式存储数据，压缩率和查询性能优于 TextFile，但可读性较差。
RCFile (Record Columnar File)： 行-列混合存储格式，兼顾了行存储和列存储的优点，压缩率和查询性能较好，但写入性能较差。
ORC (Optimized Row Columnar)： 优化的列式存储格式，压缩率和查询性能非常高，是 Hive 推荐使用的格式。
Parquet： 列式存储格式，与 ORC 类似，压缩率和查询性能也很高，在 Hadoop 生态系统中应用广泛。
Avro： 行式存储格式，支持 schema 进化，适用于数据结构经常变化的场景。

选择合适的数据存储格式可以显著影响 Hive 的查询性能和存储效率。通常情况下，列式存储格式 (ORC, Parquet) 在分析型查询场景下具有更好的性能优势，而行式存储格式 (TextFile, Avro) 更适合事务型或数据频繁更新的场景。

5.1.4 HiveQL 详解

HiveQL (Hive Query Language) 是 Hive 提供的类似于 SQL 的查询语言。HiveQL 语法与 SQL 语法高度相似，但并非完全兼容 SQL 标准。HiveQL 主要用于数据查询、分析和转换，可以将 HiveQL 语句转换成 MapReduce 或 Spark 任务执行。

基本 HiveQL 操作：

数据库操作：
- 创建数据库： CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];
- 使用数据库： USE database_name;
- 查看数据库： SHOW DATABASES; 或 SHOW DATABASES LIKE 'database_pattern';
- 删除数据库： DROP DATABASE [IF EXISTS] database_name [CASCADE]; (CASCADE 表示同时删除数据库中的所有表)

表操作：

创建表 (内部表)：


CREATE TABLE [IF NOT EXISTS] table_name (
    column_name data_type [COMMENT column_comment],
    ...
)
[COMMENT table_comment]
[PARTITIONED BY (partition_column_name data_type, ...)]
[CLUSTERED BY (bucket_column_name, ...) INTO num_buckets BUCKETS]
[ROW FORMAT DELIMITED FIELDS TERMINATED BY 'delimiter' COLLECTION ITEMS TERMINATED BY 'delimiter' MAP KEYS TERMINATED BY 'delimiter' LINES TERMINATED BY 'delimiter']
[STORED AS file_format]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)];

创建表 (外部表)：


CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name (
    column_name data_type [COMMENT column_comment],
    ...
)
[COMMENT table_comment]
[PARTITIONED BY (partition_column_name data_type, ...)]
[CLUSTERED BY (bucket_column_name, ...) INTO num_buckets BUCKETS]
[ROW FORMAT DELIMITED FIELDS TERMINATED BY 'delimiter' COLLECTION ITEMS TERMINATED BY 'delimiter' MAP KEYS TERMINATED BY 'delimiter' LINES TERMINATED BY 'delimiter']
[STORED AS file_format]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)];

查看表： SHOW TABLES; 或 SHOW TABLES LIKE 'table_pattern';
查看表结构： DESCRIBE table_name; 或 DESCRIBE FORMATTED table_name; (FORMATTED 显示更详细的表信息)
修改表： ALTER TABLE table_name ...; (例如重命名表、添加/删除列、修改表属性等)
删除表： DROP TABLE [IF EXISTS] table_name; (内部表会删除数据和元数据，外部表只删除元数据)
清空表数据 (仅内部表)： TRUNCATE TABLE table_name [PARTITION (partition_spec)];

数据加载：
- 从本地文件系统加载数据到 Hive 表： LOAD DATA LOCAL INPATH 'local_file_path' [OVERWRITE | INTO TABLE] TABLE table_name [PARTITION (partition_spec)];
- 从 HDFS 加载数据到 Hive 表： LOAD DATA INPATH 'hdfs_path' [OVERWRITE | INTO TABLE] TABLE table_name [PARTITION (partition_spec)];
- OVERWRITE 选项表示覆盖表或分区中的现有数据，INTO TABLE 选项表示追加数据到表或分区。
数据查询：
- 基本查询： SELECT [DISTINCT] column_name, ... FROM table_name [WHERE condition] [GROUP BY column_name, ...] [HAVING condition] [ORDER BY column_name [ASC|DESC], ...] [LIMIT number];
- 连接查询 (JOIN)： SELECT ... FROM table1 [JOIN_TYPE] JOIN table2 ON join_condition [JOIN table3 ON join_condition] ...; (JOIN_TYPE 可以是 INNER JOIN, LEFT OUTER JOIN, RIGHT OUTER JOIN, FULL OUTER JOIN, LEFT SEMI JOIN, CROSS JOIN)
- 子查询 (Subquery)： 在 WHERE 或 FROM 子句中使用子查询。
- 聚合函数 (Aggregate Functions)： COUNT, SUM, AVG, MIN, MAX, COUNT(DISTINCT) 等。
- 窗口函数 (Window Functions)： ROW_NUMBER(), RANK(), DENSE_RANK(), LAG(), LEAD(), SUM() OVER(), AVG() OVER() 等 (Hive 支持窗口函数，用于进行更复杂的分析)。
数据插入：
- 将查询结果插入到 Hive 表： INSERT INTO TABLE table_name [PARTITION (partition_spec)] SELECT ... FROM ...;
- 将查询结果覆盖 Hive 表： INSERT OVERWRITE TABLE table_name [PARTITION (partition_spec)] SELECT ... FROM ...;
- 动态分区插入： 在插入数据时动态创建分区。
视图 (View)：
- 创建视图： CREATE VIEW [IF NOT EXISTS] view_name AS SELECT ... FROM ...;
- 查看视图： SHOW VIEWS; 或 SHOW VIEWS LIKE 'view_pattern';
- 删除视图： DROP VIEW [IF EXISTS] view_name;
- 视图是虚拟表，不存储数据，只存储查询语句。
用户自定义函数 (UDF)：
- Hive 允许用户自定义函数 (UDF, User Defined Function) 来扩展 HiveQL 的功能。UDF 可以使用 Java、Python 等语言编写，并在 Hive 中注册和使用。UDF 可以分为：
  - UDF (User Defined Function)： 一进一出函数，例如字符串处理函数、数值计算函数等。
  - UDAF (User Defined Aggregate Function)： 多进一出函数，例如自定义聚合函数，如计算中位数、众数等。
  - UDTF (User Defined Table-Generating Function)： 一进多出函数，例如将一行数据拆分成多行数据。

代码示例：

假设我们有一个存储用户访问日志的文本文件 user_access.log，格式如下 (以逗号分隔)：


user_id,access_time,page_url,ip_address
1001,2023-10-26 10:00:00,http://example.com/page1,192.168.1.100
1002,2023-10-26 10:05:00,http://example.com/page2,192.168.1.101
1001,2023-10-26 10:10:00,http://example.com/page3,192.168.1.102
1003,2023-10-26 10:15:00,http://example.com/page1,192.168.1.103
...

1. 创建 Hive 数据库和表：


CREATE DATABASE IF NOT EXISTS my_hive_db;
USE my_hive_db;
CREATE EXTERNAL TABLE IF NOT EXISTS user_access_log (
    user_id INT,
    access_time STRING,
    page_url STRING,
    ip_address STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/user/hive/warehouse/my_hive_db.db/user_access_log';

2. 将数据文件加载到 Hive 表：


LOAD DATA LOCAL INPATH '/path/to/user_access.log' INTO TABLE user_access_log;

3. 查询用户访问次数最多的页面：


SELECT page_url, COUNT(*) AS access_count
FROM user_access_log
GROUP BY page_url
ORDER BY access_count DESC
LIMIT 10;

4. 查询每个 IP 地址访问的页面数量：


SELECT ip_address, COUNT(DISTINCT page_url) AS unique_page_count
FROM user_access_log
GROUP BY ip_address;

5. 创建分区表 (按日期分区)：

假设日志数据按日期存储在不同的文件中，我们可以创建分区表：


CREATE EXTERNAL TABLE IF NOT EXISTS user_access_log_partitioned (
    user_id INT,
    access_time STRING,
    page_url STRING,
    ip_address STRING
)
PARTITIONED BY (access_date DATE)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/user/hive/warehouse/my_hive_db.db/user_access_log_partitioned';

6. 加载数据到分区表 (需要指定分区值)：


LOAD DATA LOCAL INPATH '/path/to/user_access_20231026.log' INTO TABLE user_access_log_partitioned PARTITION (access_date='2023-10-26');
LOAD DATA LOCAL INPATH '/path/to/user_access_20231027.log' INTO TABLE user_access_log_partitioned PARTITION (access_date='2023-10-27');

7. 查询指定日期范围的访问日志：


SELECT *
FROM user_access_log_partitioned
WHERE access_date BETWEEN '2023-10-26' AND '2023-10-27';

5.1.5 Hive 代码实践

为了进行 Hive 代码实践，你需要首先搭建 Hadoop 和 Hive 环境。通常可以使用虚拟机或云平台 (例如 AWS EMR, Azure HDInsight, Google Dataproc) 快速搭建 Hadoop 集群和 Hive 服务。

实践步骤：

启动 Hadoop 集群和 Hive 服务 (HiveServer2)。
使用 Hive CLI 或 Beeline 客户端连接 HiveServer2。

以下是一些实践示例，假设你已经连接到 Hive 客户端：

示例 1：创建数据库和表，加载数据，并进行简单查询。


-- 创建数据库
CREATE DATABASE IF NOT EXISTS practice_db;
USE practice_db;
-- 创建学生信息表 (内部表)
CREATE TABLE IF NOT EXISTS students (
    student_id INT,
    student_name STRING,
    age INT,
    major STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
-- 查看表结构
DESCRIBE students;
-- 创建学生信息表 (外部表)
CREATE EXTERNAL TABLE IF NOT EXISTS students_external (
    student_id INT,
    student_name STRING,
    age INT,
    major STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/user/hive/warehouse/practice_db.db/students_external';
-- 准备学生数据文件 (students.txt, 以逗号分隔)
-- 例如：
-- 1,Alice,20,Computer Science
-- 2,Bob,21,Mathematics
-- 3,Charlie,19,Physics
-- 将本地数据加载到内部表
LOAD DATA LOCAL INPATH '/path/to/students.txt' INTO TABLE students;
-- 将本地数据加载到外部表
LOAD DATA LOCAL INPATH '/path/to/students.txt' INTO TABLE students_external;
-- 查询所有学生信息
SELECT * FROM students;
-- 查询年龄大于 20 岁的学生姓名和专业
SELECT student_name, major FROM students WHERE age > 20;
-- 统计每个专业的学生人数
SELECT major, COUNT(*) AS student_count FROM students GROUP BY major;
-- 删除内部表 (会删除数据和元数据)
DROP TABLE students;
-- 删除外部表 (只删除元数据，数据保留)
DROP TABLE students_external;
-- 删除数据库
DROP DATABASE practice_db CASCADE;

示例 2：使用分区表进行数据分析。

假设我们有销售订单数据，按日期分区。


-- 创建销售订单分区表
CREATE EXTERNAL TABLE IF NOT EXISTS sales_orders_partitioned (
    order_id INT,
    product_id INT,
    quantity INT,
    price DOUBLE
)
PARTITIONED BY (order_date DATE)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/user/hive/warehouse/practice_db.db/sales_orders_partitioned';
-- 假设我们有按日期存储的销售订单数据文件：
-- sales_orders_20231026.txt, sales_orders_20231027.txt, ...
-- 加载 2023-10-26 的数据
LOAD DATA LOCAL INPATH '/path/to/sales_orders_20231026.txt' INTO TABLE sales_orders_partitioned PARTITION (order_date='2023-10-26');
-- 加载 2023-10-27 的数据
LOAD DATA LOCAL INPATH '/path/to/sales_orders_20231027.txt' INTO TABLE sales_orders_partitioned PARTITION (order_date='2023-10-27');
-- 查询 2023-10-26 的总销售额
SELECT SUM(quantity * price) AS total_sales
FROM sales_orders_partitioned
WHERE order_date = '2023-10-26';
-- 查询 2023-10-26 和 2023-10-27 两天的总销售额
SELECT SUM(quantity * price) AS total_sales
FROM sales_orders_partitioned
WHERE order_date BETWEEN '2023-10-26' AND '2023-10-27';
-- 统计每天的销售额
SELECT order_date, SUM(quantity * price) AS daily_sales
FROM sales_orders_partitioned
GROUP BY order_date
ORDER BY order_date;

示例 3：使用 Join 操作进行数据关联分析。

假设我们有用户表和订单表，需要分析用户购买行为。


-- 创建用户表
CREATE TABLE IF NOT EXISTS users (
    user_id INT,
    user_name STRING,
    city STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
-- 创建订单表
CREATE TABLE IF NOT EXISTS orders (
    order_id INT,
    user_id INT,
    product_name STRING,
    order_amount DOUBLE
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
-- 加载用户数据和订单数据 (假设已准备好 users.txt 和 orders.txt)
LOAD DATA LOCAL INPATH '/path/to/users.txt' INTO TABLE users;
LOAD DATA LOCAL INPATH '/path/to/orders.txt' INTO TABLE orders;
-- 查询每个城市的用户订单总额
SELECT u.city, SUM(o.order_amount) AS total_order_amount
FROM users u
JOIN orders o ON u.user_id = o.user_id
GROUP BY u.city
ORDER BY total_order_amount DESC;
-- 查询用户名为 'Alice' 的用户的订单信息
SELECT o.*
FROM users u
JOIN orders o ON u.user_id = o.user_id
WHERE u.user_name = 'Alice';

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/150-hadoop%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E6%A1%86%E6%9E%B6%E6%95%99%E7%A8%8B

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流