403禁止请求。通过Python发布，尽管google chrome收到响应

Question

我是一个新手。我试图通过反向工程请求和刮取数据来获取flipkart卖家的产品数据。我尝试的URL是：https://www.flipkart.com/sellers?pid=hsaffjwt2wuyhhhx，其中包含特定产品的销售商列表。

当我在Google chrome中打开network选项卡时，我可以看到它向https://www.flipkart.com/api/3/page/dynamic/product-Sellers发出了一个POST请求，请求负载为:{“RequestContext”：{“ProductID”：“HSAFFJWT2WUYHHX”}，“LocationContext”：{“PinCode”：“110092”}}

我在代码中复制请求头和浏览器发送的有效负载，但我得到的是403禁止消息，而不是有效的JSON数据。

另外，我也成功地使用Selenium打开了这个页面（https://www.flipkart.com/sellers?pid=hsaffjwt2wuyhhhx)，然后使用Beautiful Soup解析卖家的数据。但是，硒是非常非常慢的。这就是为什么我试图直接获取json，它在这个页面上动态填充sellers数据。我试过从我的代码和邮递员发出一个post请求，但没有成功。

import requests
import json
headers = {
            'Accept': '*/*',
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'en-US,en;q=0.9',
            'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
            'Connection': 'keep-alive',
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
            'Referer' :   'https://www.flipkart.com/sellers?pid=HSAFFJWT2WUYHHHX',
            'Content-Type': 'application/json',
            'Origin': 'https://www.flipkart.com',
            'Host': 'www.flipkart.com',
            'Pragma': 'no-cache'
            }

url = "https://www.flipkart.com/api/3/page/dynamic/product-sellers"
payLoad = {"requestContext":{"productId":"HSAFFJWT2WUYHHHX"},"locationContext":{"pincode":"001195"}}
response = requests.post(url,headers = headers,data = json.dumps(payLoad))
print(response.status_code,response.reason)
print(response.text)
print(response.request.headers)

但我要禁止403。即使该页面不需要用户登录。

也许有一些安全令牌是api期望的，但我没有给出，这就是为什么它的抛出403被禁止的原因。

Answer 1

添加到X-User-Agent中。试试看：

import requests
import json
headers = {
            'Accept': '*/*',
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'en-US,en;q=0.9',
            'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
            'Connection': 'keep-alive',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
            'X-user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36 FKUA/website/41/website/Desktop',
            'Referer' :   'https://www.flipkart.com/sellers?pid=HSAFFJWT2WUYHHHX',
            'Content-Type': 'application/json',
            'Origin': 'https://www.flipkart.com',
            'Host': 'www.flipkart.com',
            'Pragma': 'no-cache'
            }

url = "https://www.flipkart.com/api/3/page/dynamic/product-sellers"
payLoad = {"requestContext":{"productId":"HSAFFJWT2WUYHHHX"},"locationContext":{"pincode":"001195"}}
response = requests.post(url,headers = headers,data = json.dumps(payLoad))
print(response.status_code,response.reason)
print(response.text)
print(response.request.headers)

输出：

print(response.status_code,response.reason)
200 OK