如何对依赖urllib2的模块进行单元测试？

Question

我有一段代码，我不知道如何进行单元测试！该模块使用urllib2从外部XML提要（twitter，flickr，youtube等）中提取内容。这是一些伪代码：

params = (url, urlencode(data),) if data else (url,)
req = Request(*params)
response = urlopen(req)
#check headers, content-length, etc...
#parse the response XML with lxml...

我的第一个想法是腌制响应并加载它以进行测试，但是显然urllib的响应对象是不可序列化的（它引发了异常）。

仅从响应主体保存XML是不理想的，因为我的代码也使用标头信息。它旨在作用于响应对象。

当然，在单元测试中依赖外部数据源是一个 可怕的 想法。

那么如何为此编写单元测试？

Answer 1

urllib2的有一个调用的函数build_opener()和install_opener()你应该用嘲笑的行为urlopen()

import urllib2
from StringIO import StringIO

def mock_response(req):
    if req.get_full_url() == "http://example.com":
        resp = urllib2.addinfourl(StringIO("mock file"), "mock message", req.get_full_url())
        resp.code = 200
        resp.msg = "OK"
        return resp

class MyHTTPHandler(urllib2.HTTPHandler):
    def http_open(self, req):
        print "mock opener"
        return mock_response(req)

my_opener = urllib2.build_opener(MyHTTPHandler)
urllib2.install_opener(my_opener)

response=urllib2.urlopen("http://example.com")
print response.read()
print response.code
print response.msg