GoogleCloudDataflow

Google Cloud Dataflow

Google Cloud Dataflow 是在 Google Cloud 平台生态系统中执行 Apache Beam 管道的完全托管服务。

优势：

• 快速流数据分析：Dataflow 可以实现快速、简化的流数据管道开发，同时降低数据延迟。
• 简化操作和管理：Dataflow 的无服务器方法消除了数据工程工作负载的操作开销，使团队能够专注于编程而非管理服务器集群。
• 降低总拥有成本：资源自动扩展与成本优化的批量处理功能相结合，意味着 Dataflow 可以管理您的季节性和突发性工作负载，而不会过度支出。

功能：

• 资源自动扩展和动态工作重新平衡：通过数据感知的资源自动扩展，可以最小化管道延迟，最大化资源利用率，并减少每条数据记录的处理成本。数据输入会自动分区并不断重新平衡，以均衡各个工作者的资源利用率，并减少“热点键”对管道性能的影响。
• 灵活调度和定价的批量处理：对于具有灵活作业调度时间的需求（例如夜间作业），灵活资源调度（FlexRS）提供了批量处理的较低价格。这些灵活作业将被放入队列中，并保证在六小时内被检索并执行。
• 现成的实时 AI 模式：通过现成的模式，Dataflow 的实时 AI 能力允许近乎人类智能的实时反应来处理大量事件。客户可以构建从预测分析和异常检测到实时个性化和其他高级分析用例在内的智能解决方案。

有关更多信息，请访问：https://cloud.google.com/dataflow

声明:
本文件灏天文库团队进行了翻译。尽管我们力求准确，但请注意，翻译可能包含错误或不准确之处。原文档以其原始语言为准。我们不对因使用此翻译而产生的任何误解或误译负责。