4.2 网站分析与爬取策略

4.2 网站分析与爬取策略

Scrapy 实践：网站分析与爬取策略详解

1. 网站分析：摸清敌情

网站分析是爬取的第一步，主要目的是了解网站的结构、数据来源、反爬机制以及最佳的爬取路径。

1.1. 目标确定与范围界定

首先，明确爬取的目标，例如：

• 目标数据： 明确需要爬取的数据类型，如商品名称、价格、评论、新闻标题、正文等。

• 爬取范围： 确定爬取的网站范围，例如某个电商平台的特定分类、某个新闻网站的特定频道等。

1.2. 网站结构分析

• 页面类型识别： 区分列表页、详情页、搜索结果页等不同类型的页面。

• URL 结构分析： 研究 URL 的规律，例如分页参数、分类 ID 等，为构建爬取规则提供依据。

• HTML 结构分析： 利用开发者工具（如 Chrome DevTools）分析 HTML 结构，找到目标数据所在的 HTML 标签和属性。

• 数据加载方式： 判断数据是静态加载（直接在 HTML 中）还是动态加载（通过 JavaScript）。

1.3. 反爬机制识别

• User-Agent 检测： 网站可能会检查请求头的 User-Agent，判断是否为爬虫。

• IP 封禁： 频繁访问可能会导致 IP 被封禁。

• 验证码： 网站可能会要求用户输入验证码。

• 频率限制： 限制单位时间内请求的数量。

• Cookie 验证： 部分网站依赖 Cookie 进行用户身份验证。

• JavaScript 渲染： 一些网站使用 JavaScript 动态渲染页面，导致直接抓取 HTML 无法获取完整数据。

• Ajax 加载： 数据通过 Ajax 请求异步加载。

• 字体反爬： 使用自定义字体文件来混淆数据。

1.4. robots.txt 分析

查看网站的 robots.txt 文件，了解网站允许和禁止爬取的页面。 虽然 robots.txt 只是一个建议，但尊重它是一种良好的网络礼仪。

1.5. API 分析 (可选)

如果网站提供 API，可以直接通过 API 获取数据，效率更高，也更稳定。 可以使用开发者工具的网络面板来分析 API 请求。

代码示例：使用 requests 库获取 robots.txt 并解析

import requests
import re
def analyze_robots_txt(url):
    try:
        response = requests.get(url + "/robots.txt")
        response.raise_for_status()  # 检查请求是否成功
        robots_txt = response.text
        print("robots.txt 内容：\n", robots_txt)
        # 提取 Disallow 规则
        disallowed_urls = re.findall(r"Disallow: (.*)", robots_txt)
        print("\n禁止爬取的 URL：")
        for url in disallowed_urls:
            print(url.strip())
    except requests.exceptions.RequestException as e:
        print(f"获取 robots.txt 失败: {e}")
# 示例：分析百度 robots.txt
analyze_robots_txt("https://www.baidu.com")
​

mermaid 图示：网站分析流程

2. 爬取策略：攻克堡垒

在网站分析的基础上，制定合适的爬取策略，以应对各种反爬机制，并高效地提取数据。

2.1. User-Agent 伪装

使用不同的 User-Agent，模拟不同的浏览器或设备，避免被识别为爬虫。

代码示例：在 Scrapy 中设置 User-Agent

# settings.py
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
# 或者使用 User-Agent 池，随机选择 User-Agent
USER_AGENT_LIST = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Safari/605.1.15',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0',
]
# 在 Spider 中使用
import random
class MySpider(scrapy.Spider):
    name = "myspider"
    # ...
    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, headers={'User-Agent': random.choice(USER_AGENT_LIST)})
​

2.2. IP 代理

使用 IP 代理池，轮换使用不同的 IP 地址，避免 IP 被封禁。

代码示例：使用代理中间件

# middlewares.py
import random
class ProxyMiddleware:
    def __init__(self, proxy_list):
        self.proxy_list = proxy_list
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            proxy_list=crawler.settings.get('PROXY_LIST', [])
        )
    def process_request(self, request, spider):
        if self.proxy_list:
            proxy = random.choice(self.proxy_list)
            request.meta['proxy'] = proxy
# settings.py
PROXY_LIST = [
    'http://10.10.1.10:3128',
    'http://10.10.1.11:1080',
    # ...
]
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 750,
}
​

2.3. 频率控制

设置下载延迟，限制爬取频率，避免对服务器造成过大压力。

代码示例：设置下载延迟

# settings.py
DOWNLOAD_DELAY = 0.25  # 延迟 0.25 秒
RANDOMIZE_DOWNLOAD_DELAY = True  # 随机化延迟
​

2.4. Cookie 处理

处理需要登录才能访问的页面，需要正确处理 Cookie。

代码示例：使用 Scrapy 内置的 Cookie 处理

import scrapy
class LoginSpider(scrapy.Spider):
    name = "login_spider"
    start_urls = ["http://example.com/login"]
    def parse(self, response):
        # 模拟登录
        return scrapy.FormRequest.from_response(
            response,
            formdata={'username': 'your_username', 'password': 'your_password'},
            callback=self.after_login
        )
    def after_login(self, response):
        # 检查登录是否成功
        if "Welcome" in response.text:
            # 登录成功，开始爬取数据
            yield scrapy.Request("http://example.com/data", callback=self.parse_data)
        else:
            self.logger.error("登录失败")
    def parse_data(self, response):
        # 处理爬取到的数据
        pass
​

2.5. 验证码处理

对于需要验证码的网站，可以使用以下方法：

• 手动输入： 在爬虫运行时，手动输入验证码。

• 第三方验证码识别服务： 使用第三方服务自动识别验证码。

• 绕过验证码： 尝试找到绕过验证码的方法，例如通过 API 或 Cookie。

2.6. JavaScript 渲染

对于使用 JavaScript 动态渲染的页面，可以使用以下方法：

• Scrapy + Selenium/Playwright： 使用 Selenium 或 Playwright 驱动浏览器，模拟用户操作，获取渲染后的 HTML。

• Scrapy + Splash： 使用 Splash 渲染 JavaScript 页面。

代码示例：使用 Scrapy + Selenium

import scrapy
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
class JSSpider(scrapy.Spider):
    name = "js_spider"
    start_urls = ["http://example.com/js_rendered_page"]
    def __init__(self):
        chrome_options = Options()
        chrome_options.add_argument("--headless")  # 无头模式
        self.driver = webdriver.Chrome(options=chrome_options)
        super().__init__()
    def close(self, reason):
        self.driver.quit()
    def parse(self, response):
        self.driver.get(response.url)
        # 等待页面加载完成
        time.sleep(3)
        html = self.driver.page_source
        # 使用 BeautifulSoup 解析 HTML
        soup = BeautifulSoup(html, 'html.parser')
        # 提取数据
        # ...
**2.7. 数据提取**
*   **XPath：**  使用 XPath 表达式提取数据。
*   **CSS Selector：**  使用 CSS 选择器提取数据。
*   **正则表达式：**  使用正则表达式提取数据。
*   **JSON：**  解析 JSON 数据。
**代码示例：使用 XPath 提取数据**
```python

import scrapy



class ExampleSpider(scrapy.Spider):

    name = "example_spider"

    start_urls = ["http://example.com"]



    def parse(self, response):

        title = response.xpath('//h1/text()').get()

        content = response.xpath('//div[@class="content"]/p/text()').getall()



        yield {

            'title': title,

            'content': content

        }

​

2.8. 数据存储

• JSON： 存储为 JSON 文件。
• CSV： 存储为 CSV 文件。
• 数据库： 存储到数据库（如 MySQL、MongoDB）。
  代码示例：存储到 JSON 文件

# pipelines.py

import json



class JsonWriterPipeline:

    def __init__(self):

        self.file = open('items.json', 'w')



    def process_item(self, item, spider):

        line = json.dumps(dict(item)) + "\n"

        self.file.write(line)

        return item



    def close_spider(self, spider):

        self.file.close()



# settings.py

ITEM_PIPELINES = {

    'myproject.pipelines.JsonWriterPipeline': 300,

}

​

mermaid 图示：爬取策略流程