5.2 Scrapy 插件与库

文档摘要

5.2 Scrapy 插件与库 5.2 Scrapy 插件与库：扩展爬虫能力的利器 5.2.1 为什么使用 Scrapy 插件与库？功能扩展: 弥补 Scrapy 框架的不足，例如处理 JavaScript 渲染的页面、管理代理 IP、数据清洗等。代码复用: 避免重复造轮子，直接利用社区贡献的成熟解决方案。效率提升: 简化开发流程，减少代码量，提高爬虫的开发和运行效率。问题解决: 针对特定场景提供解决方案，例如反爬虫对抗、大规模数据抓取等。 5.2.2 常见的 Scrapy 插件与库以下是一些常用的 Scrapy 插件和库，我们将详细介绍其中一部分，并提供代码示例： Scrapy-Splash: 用于渲染 JavaScript 页面，解决动态加载内容抓取问题。

5.2 Scrapy 插件与库

5.2 Scrapy 插件与库：扩展爬虫能力的利器

5.2.1 为什么使用 Scrapy 插件与库？

功能扩展: 弥补 Scrapy 框架的不足，例如处理 JavaScript 渲染的页面、管理代理 IP、数据清洗等。
代码复用: 避免重复造轮子，直接利用社区贡献的成熟解决方案。
效率提升: 简化开发流程，减少代码量，提高爬虫的开发和运行效率。
问题解决: 针对特定场景提供解决方案，例如反爬虫对抗、大规模数据抓取等。

5.2.2 常见的 Scrapy 插件与库

以下是一些常用的 Scrapy 插件和库，我们将详细介绍其中一部分，并提供代码示例：

Scrapy-Splash: 用于渲染 JavaScript 页面，解决动态加载内容抓取问题。
Scrapy-Selenium: 另一种用于渲染 JavaScript 页面的方案，使用 Selenium WebDriver。
Scrapy-ProxyPool: 自动管理和轮换代理 IP，提高爬虫的稳定性。
Scrapy-UserAgents: 提供大量 User-Agent，用于模拟不同浏览器，防止被识别为爬虫。
Scrapy-Redis: 用于分布式爬取，将请求队列存储在 Redis 中，实现多台机器协同工作。
Scrapy-ImagePipeline: 用于下载和处理图片。
Scrapy-JSONExporter: 用于将爬取的数据导出为 JSON 格式。
Scrapy-CSVExporter: 用于将爬取的数据导出为 CSV 格式。
Scrapy-DeltaFetch: 用于增量爬取，只抓取更新的内容。
Scrapy-Sitemap: 用于解析网站的 Sitemap 文件，方便抓取整个网站的内容。

5.2.3 插件与库的安装与使用

大多数 Scrapy 插件和库都可以通过 pip 进行安装：


pip install <插件或库名>

安装完成后，需要在 Scrapy 项目的 settings.py 文件中进行配置，启用或配置插件和库。

5.2.4 案例分析：使用 Scrapy-Splash 渲染 JavaScript 页面

很多网站使用 JavaScript 动态生成内容，Scrapy 自身无法直接抓取这些内容。scrapy-splash 插件可以解决这个问题，它集成了 Splash，一个 JavaScript 渲染服务。

1. 安装 Splash 和 scrapy-splash:

安装 Splash: Splash 可以通过 Docker 运行，也可以直接安装在服务器上。推荐使用 Docker 安装：


docker pull scrapinghub/splash
docker run -p 8050:8050 scrapinghub/splash

安装 scrapy-splash:


pip install scrapy-splash

2. 配置 Scrapy 项目:

在 settings.py 文件中添加以下配置：


SPLASH_URL = 'http://localhost:8050'  # Splash 的 URL
DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

3. 创建 Spider:

使用 SplashRequest 代替 scrapy.Request 来发送请求，并指定 Splash 的渲染参数。


import scrapy
from scrapy_splash import SplashRequest
class JSSpider(scrapy.Spider):
    name = "js_spider"
    start_urls = ['http://example.com/javascript-page'] # 替换成你的目标 URL
    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url, self.parse,
                                endpoint='render.html',  # 使用 render.html 接口
                                args={'wait': 0.5})  # 等待 0.5 秒
    def parse(self, response):
        # 在这里处理渲染后的 HTML 内容
        print(response.body)
        yield {
            'title': response.xpath('//title/text()').get(),
            'content': response.xpath('//body//text()').getall()
        }

代码解释:

SplashRequest: 使用 Splash 进行渲染的请求。
endpoint='render.html': 指定 Splash 的渲染接口，render.html 返回渲染后的 HTML。
args={'wait': 0.5}: 设置 Splash 等待 JavaScript 执行的时间，单位为秒。

mermaid 图示:

4. 运行 Spider:


scrapy crawl js_spider

通过以上步骤，就可以使用 scrapy-splash 抓取 JavaScript 渲染的页面了。

5.2.5 案例分析：使用 Scrapy-ProxyPool 管理代理 IP

在爬取一些网站时，由于频率过高，可能会被封禁 IP。使用 scrapy-proxypool 可以自动管理和轮换代理 IP，降低被封禁的风险。

1. 安装 scrapy-proxypool:


pip install scrapy-proxypool

2. 配置 Scrapy 项目:

在 settings.py 文件中添加以下配置：


# 启用 ProxyPoolMiddleware
DOWNLOADER_MIDDLEWARES = {
    'scrapy_proxypool.middlewares.ProxyPoolMiddleware': 610,
    'scrapy_proxypool.middlewares.BanDetectionMiddleware': 620,
}
# 配置代理 IP 列表
PROXY_POOL_ENABLED = True
PROXY_POOL_SIZE = 20  # 代理池大小
PROXY_POOL_URL = 'http://your-proxy-provider.com/api/proxies'  # 你的代理 IP 接口
PROXY_POOL_REFRESH_INTERVAL = 60  # 代理 IP 刷新间隔，单位为秒
# 配置代理验证
PROXY_POOL_VALIDATE_HTTPS = True  # 验证 HTTPS 代理
PROXY_POOL_VALIDATE_HTTP = False   # 验证 HTTP 代理
# 可选配置：配置重试策略
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 408]

3. 创建 Spider (无需修改):

你的 Spider 代码无需修改，scrapy-proxypool 会自动为每个请求添加代理 IP。

代码解释:

PROXY_POOL_ENABLED: 启用代理池。
PROXY_POOL_URL: 指定代理 IP 接口，scrapy-proxypool 会定期从该接口获取代理 IP。你需要替换成你自己的代理 IP 接口。
PROXY_POOL_REFRESH_INTERVAL: 设置代理 IP 刷新间隔，scrapy-proxypool 会定期从代理 IP 接口获取新的代理 IP。
PROXY_POOL_VALIDATE_HTTPS 和 PROXY_POOL_VALIDATE_HTTP: 设置代理 IP 的验证方式，建议根据你的代理 IP 类型进行配置。
BanDetectionMiddleware: 检测代理 IP 是否被封禁，如果被封禁，会自动从代理池中移除。

mermaid 图示:

4. 运行 Spider:


scrapy crawl your_spider

通过以上步骤，就可以使用 scrapy-proxypool 管理代理 IP，提高爬虫的稳定性。

5.2.6 案例分析：使用 Scrapy-Redis 进行分布式爬取

当需要爬取大量数据时，单台机器的性能可能无法满足需求。 scrapy-redis 可以将 Scrapy 爬虫改造成分布式爬虫，利用多台机器协同工作，提高爬取效率。

1. 安装 scrapy-redis:


pip install scrapy-redis

2. 安装 Redis:


# 使用 Docker 安装
docker pull redis
docker run -p 6379:6379 redis

3. 配置 Scrapy 项目:

在 settings.py 文件中添加以下配置：


# 使用 Redis 作为调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 使用 Redis 作为去重过滤器
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# Redis 连接配置
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
# 保持爬取状态
JOBDIR = 'redis_crawl'  # 可选配置，用于保存爬取状态，方便重启
# 使用优先级队列
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue' # 默认使用优先级队列，也可以选择 FifoQueue 或 LifoQueue
# 清理已完成的请求
SCHEDULER_PERSIST = True # 默认False,设置为True则可以持久化队列，方便暂停和恢复

4. 修改 Spider:

将 Spider 的 start_urls 替换为 redis_key，并使用 RedisSpider 或 RedisCrawlSpider。


from scrapy_redis.spiders import RedisSpider
class MySpider(RedisSpider):
    name = 'my_spider'
    redis_key = 'my_spider:start_urls'  # Redis 队列的 key
    def parse(self, response):
        # 在这里处理爬取到的数据
        yield {
            'title': response.xpath('//title/text()').get(),
        }

代码解释:

RedisSpider: 继承自 scrapy_redis.spiders.RedisSpider，用于从 Redis 队列中读取起始 URL。
redis_key: 指定 Redis 队列的 key，Spider 会从该队列中读取起始 URL。
SCHEDULER: 指定 Scrapy 的调度器为 scrapy_redis.scheduler.Scheduler，使用 Redis 作为调度器。
DUPEFILTER_CLASS: 指定 Scrapy 的去重过滤器为 scrapy_redis.dupefilter.RFPDupeFilter，使用 Redis 进行去重。
REDIS_HOST 和 REDIS_PORT: 指定 Redis 的连接信息。

mermaid 图示:

5. 运行 Spider:


# 在任意一台机器上运行 Spider
scrapy crawl my_spider
# 将起始 URL 推送到 Redis 队列
redis-cli lpush my_spider:start_urls http://example.com
redis-cli lpush my_spider:start_urls http://example.org

通过以上步骤，就可以使用 scrapy-redis 构建分布式爬虫了。可以在多台机器上运行相同的 Spider，它们会从同一个 Redis 队列中获取 URL，协同完成爬取任务。

5.2.7 其他常用插件与库

除了以上介绍的插件和库之外，还有许多其他有用的插件和库，例如：

Scrapy-ImagePipeline: 用于下载和处理图片。可以自动下载图片，并进行缩放、裁剪等处理。
Scrapy-JSONExporter 和 Scrapy-CSVExporter: 用于将爬取的数据导出为 JSON 或 CSV 格式。
Scrapy-DeltaFetch: 用于增量爬取，只抓取更新的内容。可以记录已经爬取过的 URL，下次运行时只抓取新的 URL。
Scrapy-Sitemap: 用于解析网站的 Sitemap 文件，方便抓取整个网站的内容。

5.2.8 总结

Scrapy 的插件和库生态系统非常丰富，可以极大地扩展 Scrapy 的功能，简化开发流程，提高爬虫效率。选择合适的插件和库，可以解决各种爬虫问题，例如 JavaScript 渲染、代理 IP 管理、分布式爬取等。希望本文能够帮助你更好地了解和使用 Scrapy 的插件和库，构建更强大的爬虫。在使用插件和库时，请仔细阅读其文档，了解其配置和使用方法。同时，也鼓励你参与到 Scrapy 社区中，贡献自己的插件和库，共同完善 Scrapy 生态系统。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/218-scrapy%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB%E6%A1%86%E6%9E%B6%E5%BC%80%E5%8F%91%E5%AE%9E%E6%88%98

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流