python - 智联招聘的cookies是动态变化的，这种该怎么处理？

Question

最近在学习爬虫，练习爬取智联招聘网站时，发现列表页是可以正常爬取的，但是详情页不行，发现在F12的请求头里复制的cookies值随着每次刷新都是变化的，本来打算用发送登录请求，每次获取cookies值，但是发现网站只有短信验证码登录，没有账号密码登录，就不知道怎么做了，看了之前别人爬取的都是固定cookies是前两年智联招聘cookies还不是动态变化的原因吗？
是不是只能用selenium这类模拟登陆的方式了，求解答。

Answer 1

处理动态变化的 cookies 通常涉及以下几种方法：

1. 使用会话保持（Session Persistence）：
   如果你使用的是像 requests 这样的库，你可以使用 Session 对象来自动处理 cookies。当你首次请求登录页面时，Session 对象会存储返回的 cookies。然后，你可以用这个 Session 对象进行后续请求，而不需要手动设置 cookies。

2. 模拟登录：
   如果网站只有短信验证码登录，那么模拟登录会稍微复杂一些。但你可以尝试以下步骤：

   • 发送请求到登录页面，并获取所需的表单字段。
   • 填写手机号并请求验证码。
   • 输入验证码并提交表单，获取登录后的 cookies。
   • 使用这些 cookies 进行后续请求。

   对于模拟登录，你可以使用 requests 库结合如 BeautifulSoup 或 lxml 这样的 HTML 解析库来解析表单，并使用如 twilio 或 selenium（虽然你提到了它，但通常用于更复杂的场景）来自动处理验证码。

3. 检查是否有其他认证机制：
   有时网站可能提供了其他形式的认证，如 API 密钥或令牌。检查网站文档或开发者论坛，看看是否有其他认证方式。
4. 使用第三方服务：
   有些第三方服务可能提供了智联招聘的 API 或模拟登录服务。这可以是一个快速的解决方案，但请注意安全性和合规性问题。
5. 考虑法律和道德问题：
   在爬取任何网站之前，请确保你的行为符合该网站的使用条款和法律要求。未经授权的数据爬取可能违反法律，并可能导致法律后果。

示例代码（使用 requests 和 Session）

import requests
from bs4 import BeautifulSoup

# 创建一个 Session 对象
session = requests.Session()

# 1. 发送请求到登录页面（可能需要先获取验证码）
login_url = '智联招聘登录页面URL'
response = session.get(login_url)

# 2. 解析登录页面，获取需要填写的表单字段（此处仅为示例，实际字段可能不同）
soup = BeautifulSoup(response.text, 'html.parser')
# ... 这里填写你的解析代码 ...

# 3. 发送包含登录信息的 POST 请求
login_data = {
    'phone': '你的手机号',
    'captcha': '你的验证码',
    # ... 其他表单字段 ...
}
login_response = session.post(login_url, data=login_data)

# 4. 检查登录是否成功，并使用 session 进行后续请求
if login_response.status_code == 200:  # 或者其他表示登录成功的状态码
    # 使用 session 发起其他请求，此时 cookies 会自动发送
    detail_url = '智联招聘详情页URL'
    detail_response = session.get(detail_url)
    # ... 处理详情页响应 ...
else:
    print('登录失败')

请注意，上述代码仅为示例，并不针对智联招聘的具体登录流程。你需要根据实际的网站结构和登录机制来调整代码。