常见反爬策略及应对方案 构造合理的HTTP请求头。 Accept User-Agent Referer Accept-Encoding Accept-Language 检查网站生成的Cookie。 有用的插件:EditThisCookie 如何处理脚本动态生成的Cookie 抓取动态内容。 Selenium + WebDriver Chrome / Firefox - Driver 限制爬取的速度。 处理表单中的隐藏域。 在读取到隐藏域之前不要提交表单 用RoboBrowser这样的工具辅助提交表单 处理表单中的验证码。 OCR(Tesseract) - 商业项目一般不考虑 专业识别平台 - 超级鹰 / 云打码 绕开“陷阱”。