如何在Jenkins上创建TestCafe测试的通过阈值

Question

我们已经测试了在Jenkins环境下运行回归套件的TestCafe.js UI测试。

我们正在探索一种创建机制的方法，其中我们可以潜在地为测试套件设置特定的通过阈值，以使Jenkins作业状态为通过/失败。

基于TestCafe的测试是否可以通过TestCafe定制/通过一些Jenkins插件进行类似的测试？

我们的詹金斯档案：

#!groovy

pipeline {
  environment {
    CI = 'true'
  }

  options {
    buildDiscarder(logRotator(numToKeepStr: '50'))
    disableResume()
    ansiColor('xterm')
  }

  agent none

  // Define the stages of the pipeline:
  stages {
    stage('setup') {
      steps {
        script {
          cicd.setupBuild()
        }
      }
    }

    // Use the make target to run tests:
    stage('Tests') {
      agent any
      steps {
        script {
          cicd.withSecret(<keys>) {
            cicd.runMake("test")
          }
        }
      }
      post {
        cleanup {
          archiveArtifacts artifacts: "screenshots/**", allowEmptyArchive: true
        }
      }
    }
  }

  post {
    success {
      script { cicd.buildSuccess() }
    }

    failure {
      script {
        slackSend channel: "#<test-notifications-channel>", color: 'bad', message: "Regression tests failed or unstable <${env.RUN_DISPLAY_URL}|${env.JOB_NAME}>"
        cicd.buildFailure()
      }
    }
  }
}
enter code here

Answer 1

TestCafe提供了一组指定的报告程序，它们以特殊格式生成报告。一旦生成，CI系统（或其中的插件）可以解析报告，并根据失败/通过测试的数量执行阈值检查。TestCafe文档包括一个Jenkins集成的示例。示例中使用的Jenkins JUnit插件还不支持set threshold：issue。但是除了使用Jenkins xUnit插件之外，您可以尝试以类似的方式遵循指南中的步骤。