常见反爬策略及应对方案


文档摘要

常见反爬策略及应对方案 构造合理的HTTP请求头。 Accept User-Agent Referer Accept-Encoding Accept-Language 检查网站生成的Cookie。 有用的插件:EditThisCookie 如何处理脚本动态生成的Cookie 抓取动态内容。 Selenium + WebDriver Chrome / Firefox - Driver 限制爬取的速度。 处理表单中的隐藏域。 在读取到隐藏域之前不要提交表单 用RoboBrowser这样的工具辅助提交表单 处理表单中的验证码。 OCR(Tesseract) - 商业项目一般不考虑 专业识别平台 - 超级鹰 / 云打码 绕开“陷阱”。


作者与出处
原作者: jackfrued
整理: 灏天文库整理
本站整理收录,版权归原作者/开源协议所有;欢迎通过原文链接访问源仓库。
发布者: 作者: jackfrued 转发
评论区 (0)
U