Technology · Culture · Change
Sign inJoin us
TechTrends NowFollow the next shiftTechnology · Culture · Change
← Latest news

From Dev.to

如何改造scrapy的TLS指纹和HTTP2指纹?

改造 Scrapy 的 TLS 与 HTTP/2 指纹,核心思路是替换默认的下载器处理器(Download Handler)。因为 Scrapy 原生的 Twisted 栈生成的指纹与真实浏览器差异显著,社区主流方案是接入 curl_cffi、rnet 等底层库,由它们负责完成浏览器级别的 TLS 握手和 HTTP/2 帧构造。 这是最推荐的方式,通常只需修改配置和请求元数据(meta)即可,对业...

Read the full report at Dev.to ↗