在测试pytest插件时如何获得覆盖率报告？

Question

我正在更新一个继承的存储库，它的测试覆盖率很差。回购本身是一个pytest插件。我已经改变了回购使用tox随着pytest-cov，并转换原始测试使用pytester作为测试插件时pytest留档建议。

测试和毒物构建等。工作得很好。然而，覆盖是报告错误的错失，例如类定义、导入等。这是因为代码本身作为pytest实例化的一部分被导入，直到测试真正开始才被“覆盖”。

我已经阅读了pytest文档、pytest cov和coverage文档以及tox文档，并尝试了几种配置，但都没有效果。我已经用尽了我的谷歌关键词组合池，这可能会让我找到一个好的解决方案。

pkg_root/
    .tox/
        py3/
            lib/
                python3.7/
                    site-pacakges/
                        plugin_module/
                            supporting_module.py
                            plugin.py
                            some_data.dat
    plugin_module/
        supporting_module.py
        plugin.py
        some_data.dat
    tests/
        conftest.py
        test_my_plugin.py
    tox.ini
    setup.py
    

一些相关的评论片段：

[pytest]
addopts = --cov={envsitepackagesdir}/plugin_module --cov-report=html
testpaths = tests

此配置给我一个错误，即没有收集数据；在这种情况下没有创建htmlcov。

pytest_plugins = ['pytester']  # Entire contents of file!

def test_a_thing(testdir):
    testdir.makepyfile(
        """
            def test_that_fixture(my_fixture):
                assert my_fixture.foo == 'bar'
        """
    )
    result = testdir.runpytest()
    result.assert_outcomes(passed=1)

如何才能得到准确的报告？有没有办法推迟插件加载，直到pytester测试要求它？

Answer 1

您无需使用pytest-cov即可实现所需。

❯ coverage run --source=<package> --module pytest --verbose <test-files-dirs> && coverage report --show-missing

❯ coverage run --source=<package> -m pytest -v <test-files-dirs> && coverage report -m

❯ coverage run --source=plugin_module -m pytest -v tests && coverage report -m

======================= test session starts ========================
platform darwin -- Python 3.9.4, pytest-6.2.4, py-1.10.0, pluggy-0.13.1 -- /Users/johndoe/.local/share/virtualenvs/plugin_module--WYTJL20/bin/python
cachedir: .pytest_cache
rootdir: /Users/johndoe/projects/plugin_module, configfile: pytest.ini
collected 1 items

tests/test_my_plugin.py::test_my_plugin PASSED               [100%]

======================== 1 passed in 0.04s =========================
Name                            Stmts   Miss  Cover   Missing
-------------------------------------------------------------
plugin_module/supporting_module.py  4      0   100%
plugin_module/plugin.py             6      0   100%
-------------------------------------------------------------
TOTAL                              21      0   100%

要获得更好的输出，您可以使用：

❯ coverage html && open htmlcov/index.html

❯ coverage -h
❯ pytest -h

运行Python程序并测量代码执行情况。

-m，-module——显示每个模块中未执行的语句的行号。

--source=SRC1，SRC2，--要度量的代码包或目录列表。

Report--报告模块的覆盖率统计信息。

-m，--显示缺失的--显示每个模块中未执行的语句的行号。

创建超文本标记语言报表。

-v，--详细--增加详细程度。

Answer 2

使用coverage来运行pytest，而不是使用pytest cov插件：

coverage run -m pytest ....

这样，覆盖将在pytest之前开始。