4.2.1.2 Hive, BigQuery

文档摘要

4.2.1.2 Hive, BigQuery 当 Hive 的分区裁剪在 BigQuery 上“失明”：一场跨引擎元数据语义鸿沟的实战突围凌晨两点十七分，告警钉钉弹窗震得人耳膜发紧——「核心用户行为宽表每日增量任务延迟超 4 小时，SLA 红色预警」。运维同事甩来一张截图：BigQuery 查询耗时 87 分钟，而上游 Hive 表仅 12 分钟完成；更诡异的是，同一 SQL 在 Hive 中显示只扫描分区，到了 BigQuery，执行计划里赫然写着。不是数据量暴增，不是资源不足，不是语法错误——是分区字段 dt 的语义在 Hive 与 BigQuery 之间悄然断裂了。这不是性能调优的边角问题，而是现代数仓混合架构中一个被长期低估、却高频引爆的“元数据断层带”。