6.1.2.1 HTTPFS 与远程存储


文档摘要

6.1.2.1 HTTPFS 与远程存储 HTTPFS 的“缓存幻觉”:当远程 Parquet 文件的元数据在本地失效时,Trino 为何反复读取整个文件头? 你有没有遇到过这样的场景—— 在 Trino 集群上执行一条看似轻量的 ,耗时却高达 8.3 秒,而日志显示它对同一个 发起了 17 次独立的 HTTP HEAD + GET 请求,其中 12 次是重复拉取前 64KB 的文件头(footer offset region)? 更诡异的是, 显示计划里明明有 节点标注了 ,可实际执行时,Worker 却像失忆一样,每次都要重新解析 Parquet 文件 footer——仿佛它从未见过这个文件。 这不是网络抖动,不是 S3 限流,也不是 Trino 配置错误。


发布者: 作者: 转发
评论区 (0)
U