第6章 高级功能与湖仓扩展

第 6 章 · 高级功能与湖仓扩展

章节摘要：前五章解决的是"把数据管好、查快"，这一章解决的是"系统能力不够用时怎么办"。预聚合怎么交给系统托管而不是人肉维护聚合表；数据还在 Hive、MySQL、对象存储里时怎么不搬运就直接查；以及当越来越多角色涌进来时，怎么让每个人只看见该看的数据。三件事分别对应物化视图、多 Catalog 联邦与权限体系，它们是把 Doris 从"一个快的库"变成"企业分析底座"的三块跳板。

学习目标

完成本章后，你应当能够：

1. 面对一个高频聚合需求，在同步 Rollup、异步物化视图、手工聚合表三种方案间给出有依据的选择；
2. 说清透明改写的四个命中条件，并用执行计划验证一条查询有没有吃到预计算红利；
3. 为 Hive、Iceberg、MySQL 三类外部源创建 Catalog 并让谓词下推真正发生在源端；
4. 为元数据缓存设定与业务变更节奏匹配的时效策略，避免陈旧结构引发的诡异报错；
5. 用"认证、授权、脱敏"三道闸描述一次查询的安全路径，并为报表团队落地行列级权限；
6. 判断哪些需求已经越过本仓能力边界，应当回到建模或引入外部组件解决。

核心概念速览

本章三个能力的共同气质是"把人的活儿交给系统"：过去靠 DBA 手工建聚合表并伺候刷新，现在由物化视图托管；过去靠 ETL 把四方数据搬进仓库，现在由联邦查询把计算推到数据家门口；过去靠"给谁开哪些表"的口头约定，现在由策略化的权限体系执行。它们都不是孤立开关，而是挂在同一条查询链路上的三个站口：

金句：高级功能的价值不在功能本身，而在它替你免掉了多少张手工维护的表、多少条人肉同步的链路、多少次口头约定的权限。

子章节导航

• 6.1 物化视图：预计算的托管方案——同步 Rollup 与异步物化视图的分工、刷新策略的选择、透明改写的命中条件与未命中排查。
• 6.2 多 Catalog 联邦查询：不搬运的数据连接——三类典型源的接入链路、跨源关联的执行要点、元数据缓存的时效取舍。
• 6.3 安全与权限体系：从口令到策略——认证方式选型、RBAC 授权落地、行列级控制与动态脱敏的组合用法。

子章节之间的逻辑关系

三节是一条"先提速、再扩界、后设防"的链路：物化视图让本仓数据的高频消费变便宜，联邦查询让仓外数据免于搬运，权限体系则为前两者打开的更大攻击面加上围栏——每放开一条通路，治理就要跟进一步：

提速 → 扩界 → 设防 → 放心开放
6.1     6.2     6.3     业务结果
​

值得注意的是反向依赖也存在：联邦查询拉回的跨源结果集，往往正是物化视图最值得接管的对象；而权限策略的粒度设计，又决定了哪些用户能被授权直接触碰外部源。三节连读，比孤立各读一遍多出一层组合价值。

前置知识与后续延伸

前置要求：第 2 章的 FE 元数据角色（Catalog 与权限信息都归它管）、第 3 章的表模型与分区概念（物化视图的分区感知刷新建立在其上）。学完本章，第 7 章的运维视角会把"物化视图刷新任务""联邦查询的资源占用"纳入监控清单；第 8 章的行业方案里，风控实时指标工厂与湖仓协同架构正是本章两个能力的落地样本。若你的集群暂无外部源需求，可先读 6.1 与 6.3，把 6.2 留到真正接湖的那天。

三节的风险画像也各有侧重：物化视图的风险是静默（刷新失败不吵不闹，直到数字对不上），联邦的风险是外溢（查询压力传导到源端系统），权限的风险是反噬（策略配错会让合法业务突然断粮）。带着各自的风险画像去读，你会更清楚每一节里哪些操作必须配监控、哪些变更必须走评审——高级功能的"高级"，一半在能力，一半在驾驭它所需的纪律。