urllib。使用自定义标题检索URL

Question

我正在尝试使用urlretrieve检索文件，同时添加自定义头。

检查urllib的代码源时。request我意识到urlopen可以在参数中获取request对象，而不仅仅是一个字符串，从而可以放置我想要的标题。但是，如果我尝试对urlretrieve执行相同的操作，我会得到一个类型错误：预期的字符串或类似字节的对象，正如在另一篇文章中提到的。

我最终所做的是重写我自己的url检索，删除抛出错误的行（该行在我的用例中无关紧要）。

它工作得很好，但我想知道是否有更好/更干净的方法，而不是重写我自己的urlretrieve。如果可以将自定义标题传递给urlopen，则感觉应该可以对urlretrieve执行相同的操作？

Answer 1

urllib。要求urlretrieve（）在urllib内部使用。要求urlopen（）（至少在Python 3中）。因此，您可以使用相同的方法来影响urlopen的行为。

当调用urlope（params）时，它实际上首先查看特殊的全局变量urllib.request._opener，如果它是无，那么urlopen将变量设置为默认的开放程序集否则它将保持原样。下一步它将调用urllib.request._opener.open（

开启器。open（）包含不同协议的处理程序列表。当开启器打开时。调用open（），然后它将执行以下操作：

• 从URLurllib创建。要求请求对象（或者如果您直接提供请求它只会使用它）

对于您自己的开场白，您必须执行以下3个步骤：

1. 创建自己的处理程序

urllib。要求build_opener创建包含自定义处理程序的opener，并添加默认opener（自定义处理程序继承自的处理程序除外）。

因此，要添加自定义标题，您可以编写如下内容：

import urllib.request as req

class MyHTTP(req.HTTPHandler):
    def http_request(self, req):
        req.headers["MyHeader"] = "Content of my header"
        return super().http_request(req)

opener = req.build_opener(MyHTTP())
req.install_opener(opener)

从这一点开始，当您调用urllib.request.urlretrieve（）或任何使用urlopens（）的东西时，它将用于HTTP通信的处理程序。当您想回到默认处理程序时，您可以调用：

import urllib.request as req   

req.install_opener(req.build_opener())

老实说，我不知道它是否比你的解决方案更好/更干净，但它在urllib中使用了准备好的机制。

Answer 2

我找到了一种方法，你只需要添加几行额外的代码...

import urllib.request

opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve("type URL here", "path/file_name")

如果你想了解细节，你可以参考python留档：https://docs.python.org/3/library/urllib.request.html