3.1 数据持久化

3.1 数据持久化

3.1 Scrapy 数据持久化

数据持久化是网络爬虫的关键环节，它指的是将抓取到的数据保存到持久存储介质中，例如数据库、文件系统等。Scrapy 提供了灵活的数据持久化机制，允许开发者根据实际需求选择合适的存储方式。

3.1.1 数据持久化的重要性

• 数据分析与利用： 抓取到的数据通常需要经过分析和处理才能发挥价值。持久化是数据分析的前提。

• 长期存储： 将数据保存下来，可以长期使用，避免重复抓取。

• 离线访问： 可以离线访问已抓取的数据，无需实时连接网络。

• 数据备份与恢复： 可以对数据进行备份，防止数据丢失。

3.1.2 Scrapy 数据持久化的方法

Scrapy 提供了多种数据持久化的方法，包括：

1. 使用 Feed exports： Scrapy 内置的 Feed exports 提供了简单的数据导出功能，可以将数据导出为 JSON、CSV、XML 等格式的文件。

2. 使用 Pipelines： Pipelines 是 Scrapy 的核心组件，用于处理抓取到的 Item。开发者可以在 Pipelines 中实现数据的清洗、验证、去重和持久化。

3. 自定义存储： 开发者可以自定义存储方式，例如直接使用数据库 API 或文件操作 API 将数据保存到数据库或文件中。

3.1.3 使用 Feed exports

Feed exports 是 Scrapy 内置的数据导出功能，使用简单方便。

示例代码：

# settings.py
FEED_URI = 'output.json'  # 指定导出文件名
FEED_FORMAT = 'json'      # 指定导出格式
FEED_EXPORT_ENCODING = 'utf-8' # 指定编码
​

在 settings.py 中配置 FEED_URI 和 FEED_FORMAT，即可在运行爬虫时自动将数据导出到指定的文件中。

支持的格式：

• JSON

• CSV

• XML

• Pickle

• Marshal

优点：

• 使用简单，配置方便。

• 支持多种导出格式。

缺点：

• 功能有限，无法进行复杂的数据处理。

• 不适合大规模数据的存储。

3.1.4 使用 Pipelines

Pipelines 是 Scrapy 的核心组件，提供了强大的数据处理能力。开发者可以在 Pipelines 中实现数据的清洗、验证、去重和持久化。

Pipeline 的工作流程：

1. Spider 抓取到 Item 后，将其传递给 Pipeline。

2. Pipeline 依次处理 Item，可以进行数据清洗、验证、去重等操作。

3. 处理后的 Item 可以被存储到数据库、文件系统等。

示例代码：

# pipelines.py
import pymongo
class MongoPipeline:
    collection_name = 'scrapy_items'
    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]
    def close_spider(self, spider):
        self.client.close()
    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item
​

# settings.py
ITEM_PIPELINES = {
    'myproject.pipelines.MongoPipeline': 300,
}
MONGO_URI = 'mongodb://user:password@host:port/'
MONGO_DATABASE = 'mydatabase'
​

代码详解：

• MongoPipeline 类实现了数据的持久化，将 Item 存储到 MongoDB 数据库中。

• from_crawler 方法用于从 Scrapy 的设置中获取 MongoDB 的连接信息。

• open_spider 方法在爬虫启动时连接 MongoDB 数据库。

• close_spider 方法在爬虫关闭时关闭 MongoDB 连接。

• process_item 方法处理 Item，将其插入到 MongoDB 数据库中。

• ITEM_PIPELINES 设置指定了要使用的 Pipeline 及其优先级。

• MONGO_URI 和 MONGO_DATABASE 设置指定了 MongoDB 的连接信息。

优点：

• 功能强大，可以进行复杂的数据处理。

• 支持多种存储方式，例如数据库、文件系统等。

• 易于扩展，可以自定义 Pipeline。

缺点：

• 配置相对复杂。

• 需要编写代码实现数据处理逻辑。

3.1.5 自定义存储

开发者可以自定义存储方式，例如直接使用数据库 API 或文件操作 API 将数据保存到数据库或文件中。

示例代码：

# spider.py
import scrapy
import sqlite3
class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']
    def __init__(self):
        self.conn = sqlite3.connect('mydatabase.db')
        self.cursor = self.conn.cursor()
        self.cursor.execute('''
            CREATE TABLE IF NOT EXISTS items (
                title TEXT,
                url TEXT
            )
        ''')
    def closed(self, reason):
        self.conn.commit()
        self.conn.close()
    def parse(self, response):
        title = response.xpath('//title/text()').get()
        url = response.url
        self.cursor.execute("INSERT INTO items (title, url) VALUES (?, ?)", (title, url))
        yield {'title': title, 'url': url}
​

代码详解：

• 在 __init__ 方法中连接 SQLite 数据库，并创建表。

• 在 closed 方法中提交事务并关闭数据库连接。

• 在 parse 方法中提取数据，并将其插入到 SQLite 数据库中。

优点：

• 灵活性高，可以根据实际需求自定义存储方式。

• 可以直接使用数据库 API 或文件操作 API，无需依赖 Scrapy 的组件。

缺点：

• 需要编写大量的代码。

• 需要处理数据库连接、事务等细节。

3.1.6 数据清洗与验证

在数据持久化之前，通常需要对数据进行清洗和验证，以保证数据的质量。

数据清洗：

• 去除 HTML 标签

• 去除空格

• 转换数据类型

• 统一数据格式

数据验证：

• 检查数据是否为空

• 检查数据是否符合格式要求

• 检查数据是否重复

示例代码：

# pipelines.py
class DataValidationPipeline:
    def process_item(self, item, spider):
        if not item['title']:
            raise DropItem("Missing title")
        item['title'] = item['title'].strip()
        return item
​

代码详解：

• DataValidationPipeline 类实现了数据验证。

• process_item 方法检查 Item 的 title 字段是否为空，如果为空则抛出 DropItem 异常，阻止 Item 被存储。

• process_item 方法去除 title 字段的空格。

3.1.7 数据去重

在数据持久化之前，通常需要对数据进行去重，以避免存储重复的数据。

去重方法：

• 使用集合 (Set)

• 使用数据库的唯一索引

• 使用 Bloom Filter

示例代码：

# pipelines.py
class DuplicatesPipeline:
    def __init__(self):
        self.seen = set()
    def process_item(self, item, spider):
        if item['url'] in self.seen:
            raise DropItem("Duplicate item found: %s" % item)
        else:
            self.seen.add(item['url'])
            return item
​

代码详解：

• DuplicatesPipeline 类实现了数据去重。

• __init__ 方法初始化一个集合 seen，用于存储已经 seen 的 URL。

• process_item 方法检查 Item 的 url 字段是否已经存在于 seen 集合中，如果存在则抛出 DropItem 异常，阻止 Item 被存储。

• 如果 url 字段不存在于 seen 集合中，则将其添加到 seen 集合中。

3.1.8 总结

Scrapy 提供了多种数据持久化的方法，开发者可以根据实际需求选择合适的存储方式。

• Feed exports： 简单方便，适合小规模数据的导出。

• Pipelines： 功能强大，适合复杂的数据处理和存储。

• 自定义存储： 灵活性高，可以根据实际需求自定义存储方式。

在数据持久化之前，通常需要对数据进行清洗、验证和去重，以保证数据的质量。

希望这篇文章能够帮助你更好地理解 Scrapy 的数据持久化机制。