禁止狂饮7 - 403(适用于卷发)

Question

更新：似乎用户代理并不是某些主机提供HTML所需的唯一标头，我还必须添加“accepts”标头，最终这为我解决了许多主机的问题：

  $response = $client->request('GET', 'http://acme.com', ['headers' => ['user-agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36',
'accept'=> 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'
        ]]);

我试图使用Guzzle来检索一些网站，但收到了403禁止错误(当它们在浏览器中工作正常时)，我怀疑这是由于主机禁止了非标准的用户代理。为了解决这个问题，我试图在Guzzle中设置用户代理来模仿浏览器，但是我找不到任何有效的方法。我可以浏览网站，也可以使用WGET和CURL -L下载HTML，没有任何问题，所以这个问题似乎与Guzzle有关。

我试过了:

    $client = new Client(['allow_redirects' => ['track_redirects' => true]]);
    $client->setUserAgent("Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.62 Safari/537.36");
    $response = $client->get($domain_name);

奇怪的是，这^ 一个导致一个错误，似乎说Guzzle正在尝试浏览到User-Agent值：cURL错误6：无法解析主机：Mozilla（参见 https://curl.haxx.se/libcurl/c/libcurl-errors.html）为Mozilla / 5.0（Windows NT 6.2;WOW64） AppleWebKit/537.36 （KHTML， like

    $domain_name = 'http://www.' . $domain_name;
    $client = new Client(['headers' => ['User-Agent' => 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36']]);
    $response = $client->get($domain_name);

^导致“客户端错误：GET http://www.xxx.co.uk 导致'403 禁止访问'”错误

    $domain_name = 'http://www.' . $domain_name;
    $client = new Client(['allow_redirects' => ['track_redirects' => true]]);
    $client->setServerParameter('user-agent', "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36");
    $response = $client->get($domain_name);

^导致"Argument 3传递给GuzzleHttp\Client::请求（）必须是数组类型，字符串给定"错误

    $domain_name = 'http://www.' . $domain_name;
    $client = new Client(['allow_redirects' => ['track_redirects' => true]]);
    $client->setHeader("user-agent", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36");
    $response = $client->get($domain_name);

^这还会导致“传递给GuzzleHttp\Client:：request（）的参数3必须是数组类型，字符串给定”错误

有什么建议吗？我想我在这里掉进了一个兔子洞！

我想知道这里是否发生了其他事情，因为据我所知，Guzz只是CURL的包装器，CURL可以从同一个IP毫无问题地获取相同的网页。

Answer 1

似乎用户代理并不是一些主机提供HTML所需的唯一标头，我还必须添加“accepts”标头，最终这为我解决了许多主机的问题：

$response = $client->request('GET', 'http://acme.com', [
  'headers' => [
    'user-agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36',
    'accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'
  ]
]);