aiohttp.request状态代码404的下载失败，但同步下载成功

Question

我对API请求有一个奇怪的问题。问题是使用请求或浏览器时，我使用的url工作正常。但使用异步服务程序时，URL会失败并返回状态代码404。

下面是我的代码：我已经构建了一个异步下载函数get：

""" download functions for asynchronous download """
import asyncio
from pathlib import Path
from typing import Union, Dict, Any

import aiohttp

HTTP_DEFAULT_TIME_OUT = 60 * 10


async def _get(
    url: Union[Path, str],
    timeout: aiohttp.ClientTimeout = aiohttp.ClientTimeout(),
    **kwargs: Union[aiohttp.BasicAuth, Dict[str, Any]]
) -> bytes:
    """
    Base function downloader with aiohttp and async session

    Args:
        url: remote path to file
        timeout: how long should it max take to download the file
        **kwargs: parameters to pass to the aiohttp get function:
            auth: aiohttp.BasicAuth("", "")
            params: Dict[str, Any]
            headers: Dict[str, Any]

    Returns:
        a bytes object
    """
    kwargs["timeout"] = timeout
    async with aiohttp.request("GET", url, **kwargs) as response:
        return await response.read()


def get(
    url: Union[Path, str],
    timeout: int = HTTP_DEFAULT_TIME_OUT,
    **kwargs: Union[aiohttp.BasicAuth, Dict[str, Any]]
) -> bytes:
    """
    download function handling async download with aiohttp

    Args:
        url: remote path to file
        timeout: how long should it max take to download the file
        **kwargs: parameters to pass to the aiohttp get function:
            auth: aiohttp.BasicAuth("", "")
            params: Dict[str, Any]
            headers: Dict[str, Any]

    """
    return asyncio.get_event_loop().run_until_complete(
        _get(url, aiohttp.ClientTimeout(timeout), **kwargs)
    )

remote_file='https://api.eumetsat.int/data/download/collections/EO%3AEUM%3ADAT%3AMSG%3AHRSEVIRI/products/MSG4-SEVI-MSG15-0100-NA-20210916121242.731000000Z-NA?access_token=43e1b232-02ed-30db-9d17-363f00a4a1f0'

注意：令牌将过期。

使用请求很好。但使用我自己的get函数会产生：

get(remote_file)
b'<am:fault xmlns:am="http://wso2.org/apimanager"><am:code>404</am:code><am:type>Status report</am:type><am:message>Runtime Error</am:message><am:description>No matching resource found for given API Request</am:description></am:fault>'

使用myget功能下载其他内容也很好。

那么有人知道为什么服务器在尝试异步访问时返回404吗？

我之前的问题被关闭了，因为你们中的一些人认为这是一个类似的问题：但是这个问题的原因是一个443 ssl认证错误。我仍然收到404如果我应用了一个附加的Connector，行为是相同的。

connector=aiohttp.TCPConnector(verify_ssl=False)
get(remote_file, connector=connector)

使用：python==3.9。7 aiohttp==3.7。4.

Answer 1

原因是URL编码。为此，yarl可用于：

import yarl


remote_file = 'https://api.eumetsat.int/data/download/collections/EO%3AEUM%3ADAT%3AMSG%3AHRSEVIRI/products/MSG4-SEVI-MSG15-0100-NA-20210916121242.731000000Z-NA?access_token=43e1b232-02ed-30db-9d17-363f00a4a1f0'
remote_file_encoded = yarl.URL(remote_file, encoded=True)