如何处理IncompleteRead：在python中

Question

我正在尝试从网站获取一些数据。然而，这又使我回来了incomplete read。我试图获取的数据是大量的嵌套链接。我在线进行了一些研究，发现这可能是由于服务器错误（在达到预期大小之前完成了分块的传输编码）。我还在此链接上找到了以上解决方法

但是，我不确定如何在我的案例中使用它。以下是我正在处理的代码

br = mechanize.Browser()
br.addheaders = [('User-agent', 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1;Trident/5.0)')]
urls = "http://shop.o2.co.uk/mobile_phones/Pay_Monthly/smartphone/all_brands"
page = urllib2.urlopen(urls).read()
soup = BeautifulSoup(page)
links = soup.findAll('img',url=True)

for tag in links:
    name = tag['alt']
    tag['url'] = urlparse.urljoin(urls, tag['url'])
    r = br.open(tag['url'])
    page_child = br.response().read()
    soup_child = BeautifulSoup(page_child)
    contracts = [tag_c['value']for tag_c in soup_child.findAll('input', {"name": "tariff-duration"})]
    data_usage = [tag_c['value']for tag_c in soup_child.findAll('input', {"name": "allowance"})]
    print contracts
    print data_usage

请帮助我。谢谢

Answer 1

您包含在问题中的链接只是执行urllib的read（）函数的包装程序，该函数可以为您捕获所有不完整的读取异常。如果您不想实施整个补丁程序，则总是可以在尝试读取链接的地方插入try
/ catch循环。例如：

try:
    page = urllib2.urlopen(urls).read()
except httplib.IncompleteRead, e:
    page = e.partial

对于python3

try:
    page = request.urlopen(urls).read()
except (http.client.IncompleteRead) as e:
    page = e.partial