Jupyter笔记本中函数的单元测试？

Question

def construct_url(data):
    ...
    return url

def scrape_url(url):
    ... # fetch url, extract data
    return parsed_data

for i in mylist: 
    url = construct_url(i)
    data = scrape_url(url)
    ... # use the data to do analysis

我考虑过的一些方法：

• 将函数移出到实用程序文件中，并在某个标准Python测试库中为该实用程序文件编写测试。可能是最好的选择，尽管这意味着并非所有代码在笔记本中都可见。
• 使用测试数据在笔记本本身内进行写入断言（给笔记本增加噪声）。
• 使用专门的Jupyter测试来测试单元格的内容（不要认为这行不通，因为单元格的内容会改变）。

Answer 1

Python标准测试工具，如doctest和unittest可以直接在笔记本中使用。

在DocString中具有函数和测试用例的笔记本单元格：

def add(a, b):
    '''
    This is a test:
    >>> add(2, 2)
    5
    '''
    return a + b

运行DocStrings中所有测试用例的笔记本单元格（笔记本中的最后一个）：

import doctest
doctest.testmod(verbose=True)

Trying:
    add(2, 2)
Expecting:
    5
**********************************************************************
File "__main__", line 4, in __main__.add
Failed example:
    add(2, 2)
Expected:
    5
Got:
    4
1 items had no tests:
    __main__
**********************************************************************
1 items had failures:
   1 of   1 in __main__.add
1 tests in 2 items.
0 passed and 1 failed.
***Test Failed*** 1 failures.

def add(a, b):
    return a + b

import unittest

class TestNotebook(unittest.TestCase):
    
    def test_add(self):
        self.assertEqual(add(2, 2), 5)
        

unittest.main(argv=[''], verbosity=2, exit=False)

test_add (__main__.TestNotebook) ... FAIL

======================================================================
FAIL: test_add (__main__.TestNotebook)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "<ipython-input-15-4409ad9ffaea>", line 6, in test_add
    self.assertEqual(add(2, 2), 5)
AssertionError: 4 != 5

----------------------------------------------------------------------
Ran 1 test in 0.001s

FAILED (failures=1)

在调试失败的测试时，在某个时刻停止测试用例的执行并运行调试器通常很有用。为此，在要停止执行的行之前插入以下代码：

import pdb; pdb.set_trace()

例如：

def add(a, b):
    '''
    This is the test:
    >>> add(2, 2)
    5
    '''
    import pdb; pdb.set_trace()
    return a + b

对于本例，下次运行doctest时，执行将在return语句和Python调试器(pdb)启动之前停止。您将直接在笔记本中获得一个pdb提示符，这将允许您检查a和B的值、跨行等。