使用 curl_cffi 解决 Web 抓取中的 TLS/JA3 指纹识别方法
ForRunner123 2024-09-10 08:03:01 阅读 78
在网站抓取过程中遇到反爬虫措施而苦苦挣扎？<code>curl_cffi 是一个高级 Python 库，它包装了 cURL 工具，可以帮助您有效地绕过这些障碍。通过模拟浏览器行为并利用 cURL 的功能，curl_cffi 增强了您的抓取器避免检测并顺利执行的能力。在本指南中，我们将探讨 curl_cffi 的工作原理、如何将其用于各种任务以及其局限性。我们还将讨论克服这些局限性的潜在解决方案。
什么是 curl_cffi？
curl_cffi 是一个专为网络请求设计的 Python 库，类似于 requests 和 httpx 等库。然而，与这些库不同的是，curl_cffi 可以模拟浏览器 TLS/JA3 和 HTTP/2 指纹。curl-impersonate 是一个命令行工具，可以模拟四种主要浏览器并执行 TLS 和 HTTP 握手，就像真实的浏览器一样。curl_cffi 使用 cffi 将 curl-impersonate 包装成 Python 库。
难以解决令人厌烦的验证码，反复失败？
使用 CapSolver 的 AI 驱动的自动网页解封技术，发现无缝的自动验证码解决方案！
领取您的 奖励代码 以获得顶级验证码解决方案；CapSolver: WEBS。兑换后，每次充值后您将获得额外 5% 的奖励，无限使用
什么是 TLS/JA3 指纹？
如今，大多数网站使用 HTTPS。为了建立 HTTPS 连接，服务器和客户端之间会进行 TLS 握手，交换信息，例如支持的 TLS 版本和加密算法。不同的客户端具有不同的特征，这些细节通常是稳定的，允许服务器识别请求是来自典型用户浏览器还是自动化脚本。JA3 是一个常用的算法，用于生成 TLS 指纹。它的工作原理是将这些特征连接起来并计算 MD5 哈希值。
使用 curl_cffi
<code>curl_cffi 的使用方法与 requests 非常相似。以下是如何使用 requests 获取 JA3 指纹：
import requests
url = "https://tls.browserleaks.com/json"
r = requests.get(url)
print(r.json())
你可能会得到类似下面的结果：
{
"user_agent": "python-requests/2.32.3",
"ja3_hash": "8d9f7747675e24454cd9b7ed35c58707",
"ja3_text": "771,4866-4867-4865-49196-49200-49195-49199-52393-52392-159-158-52394-49327-49325-49326-49324-49188-49192-49187-49191-49162-49172-49161-49171-49315-49311-49314-49310-107-103-57-51-157-156-49313-49309-49312-49308-61-60-53-47-255,0-11-10-16-22-23-49-13-43-45-51-21,29-23-30-25-24,0-1-2",
"ja3n_hash": "a790a1e311289ac1543f411f6ffceddf",
"ja3n_text": "771,4866-4867-4865-49196-49200-49195-49199-52393-52392-159-158-52394-49327-49325-49326-49324-49188-49192-49187-49191-49162-49172-49161-49171-49315-49311-49314-49310-107-103-57-51-157-156-49313-49309-49312-49308-61-60-53-47-255,0-10-11-13-16-21-22-23-43-45-49-51,29-23-30-25-24,0-1-2",
"akamai_hash": "",
"akamai_text": ""
}
如果您反复发出请求，您会发现您的 JA3 哈希值保持不变。然而，从 Chrome 110 版本开始，TLS ClientHello 扩展的顺序被随机化，这使得网站开发者更容易根据 JA3 指纹来阻止像 requests 这样的库。如果您的请求始终显示相同的 JA3 指纹，它们可能会被识别为来自单个用户，从而增加被标记为机器人的可能性。
以下是如何使用 curl_cffi 来模拟真实的 JA3 指纹：
from curl_cffi import requests
url = "https://tls.browserleaks.com/json"
r = requests.get(url, impersonate="chrome124")code>
print(r.json())
impersonate 参数允许您指定要模拟的浏览器和版本。支持的浏览器包括 Chrome、Chrome Android、Edge 和 Safari，版本不断更新。有关详细信息，请参阅 curl_cffi GitHub 仓库。使用 curl_cffi，JA3 指纹将与真实浏览器的指纹一致，并且从 Chrome 110 版本开始，JA3 指纹将在每次请求时发生变化：
{
"user_agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
"ja3_hash": "c97c8dac4ca1de968fe230de54f3e0f3",
"ja3_text": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,16-10-27-18-5-51-23-17513-45-35-43-13-65281-0-11-65037,25497-29-23-24,0",
"ja3n_hash": "4c9ce26028c11d7544da00d3f7e4f45c",
"ja3n_text": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,0-5-10-11-13-16-18-23-27-35-43-45-51-17513-65037-65281,25497-29-23-24,0",
"akamai_hash": "52d84b11737d980aef856699f885ca86",
"akamai_text": "1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,p"
}
解决 curl_cffi 的限制
虽然 curl_cffi 可以模拟真实的 JA3 指纹，并可能避免机器人挑战和封锁，但它可能并不总是足够。许多网站实施了先进的机器人保护机制，例如 hCaptcha、reCaptcha、Geetest、Cloudflare Turnstile、DataDome 和 AWS WAF。这些系统使用复杂的图像和难以阅读的 JavaScript 挑战来区分人和机器人。有时，即使拥有真实且随机化的 JA3 指纹，也无法避免绕过这些挑战。
如果您遇到 CAPTCHA 挑战，无论您使用哪个请求库，它们都可能是不可避免的。但是，无需担心。CapSolver 为这些问题提供了解决方案。CapSolver 使用基于 AI 的自动化网页解锁技术，可在几秒钟内解决各种机器人挑战。无论处理图像还是复杂问题，CapSolver 都能高效地处理。如果解决方案失败，您将不会产生任何费用。
CapSolver 还提供浏览器扩展，可使用 Selenium 在数据抓取过程中自动解决 CAPTCHA。此外，还提供 API 解决方案，用于在 Scrapy 等框架中解决 CAPTCHA 并获取令牌。所有这些都可以在几秒钟内完成。有关更多详细信息，请参阅 CapSolver 文档。
结论
通过将 curl_cffi 集成到您的网页抓取设置中，您可以有效地模拟真实浏览器行为，以克服 TLS/JA3 指纹挑战。虽然 curl_cffi 为处理这些挑战提供了强大的工具，但高级 CAPTCHA 和机器人检测系统仍然构成重大障碍。CapSolver 提供了一种补充解决方案，可以无缝解决这些 CAPTCHA 挑战，确保您的抓取活动顺利运行。
如需了解更多见解和资源，请访问 CapSolver 网站 并探索 curl_cffi GitHub 仓库。
CapsolverCN官 方代理交流扣 群：497493756
声明
本文内容仅代表作者观点，或转载于其他网站，本站不以此文作为商业用途
如有涉及侵权，请联系本站进行删除
转载本站原创文章，请注明来源及作者。