爬虫频繁 403、429？代理 IP 这几个细节很多人没调好

<p style="line-height: 2;"><span style="font-size: 16px;">做</span><a href="https://www.bitudaili.com/product/residential-proxies" target="_blank"><span style="color: rgb(9, 109, 217); font-size: 16px;">数据采集</span></a><span style="font-size: 16px;">时，403 和 429 几乎绕不开。很多人第一反应是“IP 不够用”，于是不断加代理、换代理，结果请求成功率还是上不去。问题往往不在数量，而在</span><a href="https://www.bitudaili.com/" target="_blank"><span style="color: rgb(9, 109, 217); font-size: 16px;">代理 IP </span></a><span style="font-size: 16px;">的使用细节：协议、轮换、并发、会话、重试策略，任何一项没调好，都可能让目标站点持续拒绝。</span></p><p style="line-height: 2;"><br></p><p style="line-height: 2;"><span style="font-size: 24px;"><strong>先分清 403 和 429</strong></span></p><p style="line-height: 2;"><span style="font-size: 16px;">403 是服务器明确拒绝访问，可能和权限、请求头、Cookie、IP 信誉、访问频率都有关。429 则更直接：请求过多，触发了限流。两者处理方式不同。429 可以看响应头里的 Retry-After，适当等待；403 不要无脑重试，先检查请求本身是否完整、代理出口是否稳定。</span></p><p style="line-height: 2;"><br></p><p style="line-height: 2;"><span style="font-size: 24px;"><strong>请求头与会话别太随意</strong></span></p><p style="line-height: 2;"><span style="font-size: 16px;">有些代码只带一个 User-Agent，甚至默认使用库自带的标识，很容易被识别为异常流量。建议补齐 Accept、Accept-Language、Referer 等常见字段，并保持同一会话内的一致性。需要 Cookie 的站点，频繁切换出口 IP 可能导致会话失效，反而增加 403 概率。</span></p><p style="line-height: 2;"><br></p><p style="line-height: 2;"><span style="font-size: 24px;"><strong>代理 IP 池：质量比数量重要</strong></span></p><p style="line-height: 2;"><span style="font-size: 16px;">低价代理池常见问题是延迟高、复用严重、可用率低。你以为是目标站封你，其实是代理本身已经不可用。选择代理服务时，要关注协议支持、认证方式、提取频率和稳定性。比如比兔代理提供 HTTP/HTTPS/SOCKS5 支持，可通过 API 提取或隧道模式接入，适合需要稳定出口的采集任务。代理质量稳定，才能减少因出口异常带来的 403。</span></p><p style="line-height: 2;"><br></p><p style="line-height: 2;"><span style="font-size: 24px;"><strong>轮换间隔与并发要匹配目标站</strong></span></p><p style="line-height: 2;"><span style="font-size: 16px;">轮换太勤，短时间内出现大量不同出口，容易触发限流；轮换太慢，单个 IP 压力过大，也会被限制。建议从低并发开始，观察 429 出现频率，再调整轮换周期。配合随机延迟、指数退避，比固定频率更平滑。比兔代理支持按需设置切换间隔，方便和采集任务节奏配合。</span></p><p style="line-height: 2;"><br></p><p style="line-height: 2;"><span style="font-size: 24px;"><strong>超时、重试与日志不能省</strong></span></p><p style="line-height: 2;"><span style="font-size: 16px;">连接超时、读取超时要分开设置。429 按提示等待，403 先排查请求头和代理质量。每次请求记录状态码、代理 IP、耗时和重试次数，才能判断问题出在目标站、代码还是代理。没有日志，调参基本靠猜。</span></p><p style="line-height: 2;"><br></p><p style="line-height: 2;"><span style="font-size: 24px;"><strong>合规是长期稳定的前提</strong></span></p><p style="line-height: 2;"><span style="font-size: 16px;">无论代理多好，都要遵守目标站 robots 协议和服务条款，控制请求频率，只采集公开数据。合理采集，目标站的容忍度才会更高。</span></p><p style="line-height: 2;"><br></p><p style="line-height: 2;"><span style="font-size: 16px;">403、429 不是换个 IP 就能解决。把请求头、会话、轮换、并发、重试这些细节调好，再配合</span><a href="https://www.bitudaili.com/help?id=11" target="_blank"><span style="color: rgb(9, 109, 217); font-size: 16px;">比兔代理</span></a><span style="font-size: 16px;">这类稳定代理资源，采集任务才能更平稳地跑下去。</span></p>