PythonValueError:太多的值无法为爬虫程序解包

Question

我试图运行我在网上找到的刮板，但收到一个ValueError：太多的值在这行代码上解包

 k, v = piece.split("=")

这条线是这个函数的一部分

def format_url(url):
# make sure URLs aren't relative, and strip unnecssary query args
u = urlparse(url)

scheme = u.scheme or "https"
host = u.netloc or "www.amazon.com"
path = u.path

if not u.query:
    query = ""
else:
    query = "?"
    for piece in u.query.split("&"):
        k, v = piece.split("=")
        if k in settings.allowed_params:
            query += "{k}={v}&".format(**locals())
    query = query[:-1]

return "{scheme}://{host}{path}{query}".format(**locals())

如果您有任何意见，我们将不胜感激，谢谢。

Answer 1

您还没有显示任何基本调试：问题点的piece是什么？如果字符串中有多个=，则split操作将返回2个以上的值——因此会显示错误消息。

如果只想在第一个=上拆分，则使用索引获取位置，并获取所需的切片：

pos = piece.index('=')
k = piece[:pos]
v = piece[pos+1:]

Answer 2

这是由于一个块包含两个或多个'='字符。在这种情况下，您将返回一个包含三个或更多元素的列表。您不能将其分配给两个值。

您可以通过向添加一个附加参数来拆分最多一个'='来解决这个问题。

k, v = piece.split("=",1)

但是现在我们仍然不能保证在片段字符串中存在'='。

但是我们可以使用python-3. x中的urllib.parse模块（python-2. x中的urlparse）：

from urllib.parse import urlparse, parse_qsl

purl = urlparse(url)
quer = parse_qsl(purl.query)

for k,v in quer:
    # ...
    pass

现在，我们已经将查询字符串解码为可以单独处理的键值元组列表。我建议也使用urllib建立一个URL。

Answer 3

您可以使用urlparse.parseqs函数，而不是自己解析URL：

>>> from urlparse import urlparse, parse_qs
>>> URL = 'https://someurl.com/with/query_string?i=main&mode=front&sid=12ab&enc=+Hello'
>>> parsed_url = urlparse(URL)
>>> parse_qs(parsed_url.query)
{'i': ['main'], 'enc': [' Hello '], 'mode': ['front'], 'sid': ['12ab']}

（来源）