2. Scrapy 核心组件

文档摘要

Scrapy 核心组件 Scrapy 核心组件详解与实践 Scrapy 架构概览首先，我们使用 Mermaid 图表来展示 Scrapy 的整体架构：图表解释: Scrapy Engine: 引擎是 Scrapy 的核心，负责控制数据流在所有组件之间的流动。 Scheduler: 调度器接收引擎发来的请求，并将其放入队列中，以便稍后由下载器下载。 Downloader: 下载器负责下载网页，并将响应传递给 Spider。 Spider: Spider 定义了如何抓取特定的网站，并从页面中提取结构化数据。 Item Pipeline: Item Pipeline 负责处理 Spider 提取的 Items，例如清洗、验证和存储数据。