2.1.2 DataFrame和Dataset

文档摘要

2.1.2 DataFrame和Dataset Spark SQL 核心概念：DataFrame 和 Dataset 详解与实践 (基于 Spark 2.1) 2.1.2 DataFrame：结构化数据的强大基石 DataFrame 的概念与特性 DataFrame 在 Spark SQL 中代表一个分布式的数据集合，被组织成具名的列。从概念上讲，它类似于关系型数据库中的表或 Python Pandas 中的 DataFrame。DataFrame 具有以下关键特性：结构化数据: DataFrame 强调数据的结构性，每一列都有明确的名称和数据类型（例如，整型、字符串、日期等）。这种结构化的特性使得 Spark SQL 能够进行高效的查询优化和类型检查。