在jenkins中并行运行两个管道时出现死锁

Question

目前我有以下问题。我已经编写了一个Jenkinsfile来在管道中构建我的存储库。每个存储库在多分支管道中都有自己的管道。每当我推动存储库时，管道就会开始工作。

对于这个建筑，我有一个带有两个节点的代理。当多分支管道运行时，多分支管道使用一个节点来执行单个管道，第二个节点由当前正在执行的管道使用来运行单个作业。

当两个管道同时运行时，两个管道都使用一个节点。但是现在的问题是两个管道都无法启动任何作业，因为所有节点都被占用了。此时我有一个死锁，因为两个管道都在等待它们的作业的空闲节点。

我尝试过设置“disableContoptBuilds（）”，但这只是阻止了同名的Pipeline。多分支管道中不同名称的管道可以并发运行。

第二次尝试是在Jenkinsfile中使用此代码设置Build Blocker插件。

properties([
    [$class: 'BuildBlockerProperty',
     blockLevel: 'GLOBAL',
     blockingJobs: '*pipeline_Test*',
     scanQueueFor: 'ALL',
     useBuildBlocker: true],
   disableConcurrentBuilds()
   ])

但后来我收到了这个错误消息。

工作流脚本:30:无效的选项类型“属性”。有效的选项类型:[buildDiscarder，catchError，checkoutToSubdirectory，disableConcurrentBuilds，disableResume，durabilityHint，lock，newContainerPerStage，overrideIndexTriggers，retry，script，skipDefaultCheckout，skipStagesAfterUnstable，timeout，waitUntil，withContext，withCredentials，withEnv，ws] @第30行，第4列

如何在Jenkins文件中为整个管道设置BuildBlockerProperty？如果管道在运行，是否有其他方法阻止所有其他管道？

谢谢你的帮助。

Answer 1

使用“锁定”可锁定阶段或步骤。这将阻止在多分支管道中对每个分支进行并行构建。

stage("Do stuff") {
  lock("my_lock") {

    // do stuff

  } // resource is unlocked.
}

Answer 2

最简单的解决方法是将执行程序的数量增加一个，确保执行程序总是比父作业多一个。

这样，将始终有一个执行器可用或一个子作业正在运行，这将完成并释放执行器。

您可以在ManageJenkins中设置执行器

但是这不是一个完整的解决方案，因为每次添加作业时都需要这样做。

Answer 3

在同一个问题上挣扎。

您没有提供Jenkinsfile，但是如果您的管道需要1个executor节点来运行管道，还需要1个额外的节点来执行作业，那么您可能需要在管道级别和阶段级别设置代理，例如

pipeline {
  agent any

  stage('Build') {
    agent {
      label 'my label'
    }

    steps {
      ...
    }
  }

  post {
    always {
      ...
    }
  }
}

正如我所做的。当然，您的特定代理设置可能会非常不同，但代理设置为2个级别。我必须在阶段之外指定管道级代理的原因是因为否则我的post步骤将无法运行。

如果您的管道需要特定的代理设置(标签、docker图像，...)在阶段级别，最佳做法是在管道级别设置< code >代理无:

pipeline {
  agent none

  stage('Build') {
    agent {
      label 'my label'
    }

    steps {
      ...
    }
  }
}

这样只需要一个执行器节点，从而避免了死锁。

如果你像我一样需要一个< code>post步骤，你可以这样运行它

pipeline {
  agent none

  stage('Build') {
    agent {
      label 'my other label'
    }

    steps {
      ...
    }
  }

  post {
    always {
      node('label') {
        ...
      }
    }
  }
}

以向其提供节点。该标签是强制性的，尚未找到在任何节点上运行它的方法。添加＜code＞节点｛｝

这对我很有效，可能是OP的解决方案。OP中没有给出足够的信息来了解管道的具体配置。