单元测试-用StringIO对象替换文件路径

Question

我正在尝试对采用文件路径并返回部分文件内容的解析函数进行单元测试。我希望能够为测试目的传递这些函数字符串数据。

我知道我能做到。reader（）StringIO或文件句柄（例如csv.reader（StringIO（“my，data”）或csv）。reader（open（file）），但我看不到一种方法可以传递StringIO对象来代替文件路径，因为open（StringIO（“my，data”））失败了。同样，我希望在这些解析方法中使用文件打开/关闭逻辑，而不是在我的主要代码中，因为这会使我的主要代码变得混乱，也意味着我必须重新编写所有文件IO接口！

看来我的选择是：

1. 重写所有现有代码，以便将文件句柄传递给解析函数——这真是一件痛苦的事
2. 使用mock。patch（）替换open（）方法——这应该可以，但似乎比这项任务所需的更复杂
3. 做一些我还没有想到但我确信一定存在的事情

    import csv
    def parse_file(input):
        with open(input, 'r') as f:
            reader = csv.reader(f)
            output = []
            for row in reader:
                #Do something complicated
                output.append(row)
            return output
                

Answer 1

对于未来寻找这个的其他人，我能够使用模拟来非常有效地做到这一点。

---- module: import_data.py -----

import csv

def read_file(input):
    with open(input, 'r') as f:
        reader = csv.reader(f)
        output = []
        for row in reader:
            #Do something complicated
            output.append(row)
        return output

---- Unittests ----

import unittest
from io import StringIO
from mock import patch
from import_data import read_file

class TestImport(unittest.TestCase):

    @patch('import_data.open')
    def test_read_string(self, mock_file):
        mock_file.return_value = StringIO(u"a,b\nc,d")
        output = read_file(None)
        self.assertEqual([['a', 'b'], ['c', 'd']], output)


    def test_read_file(self):
        filename = "sample_data.csv"
        output = read_file(filename)
        self.assertEqual([['a', 'b', 'c'],['d', 'e', 'f']], output)

Answer 2

如果不想更改接口以接受打开的文件对象，如StringIO，请查看testfixtures模块。我用它来管理单元测试的文件和目录，尽管我通常更喜欢传入StringIO对象。

如果你不喜欢这样，那么修补open（）听起来是一个合理的策略。我自己还没有尝试过。

Answer 3

你可以使用临时文件。

如果你真的不喜欢使用硬盘，你可以使用StringIO来替换你的文件，并重新定义内置的open函数，就像这样：

import StringIO
import csv

#this function is all you need to make your code work with StringIO objects
def replaceOpen():
    #the next line redefines the open function
    oldopen, __builtins__.open = __builtins__.open, lambda *args, **kwargs: args[0] if isinstance(args[0], StringIO.StringIO) else oldopen(*args, **kwargs)

    #these methods below have to be added to the StringIO class
    #in order for the with statement to work
    StringIO.StringIO.__enter__ = lambda self: self
    StringIO.StringIO.__exit__ = lambda self, a, b, c: None

replaceOpen()

#after the re-definition of open, it still works with normal paths
with open(__file__, 'rb') as f:
    print f.read(16)

#and it also works with StringIO objects
sio = StringIO.StringIO('1,2\n3,4')
with open(sio, 'rb') as f:
    reader = csv.reader(f)
    output = []
    for row in reader:
        output.append(row)
    print output

这输出：

import StringIO
[['1', '2'], ['3', '4']]