我可以在 Jenkins 中的迭代循环中动态分配节点吗？

Question

我正在构建一个 Jenkins 管道，用于在远程数据中心内使用特定的 Jenkins 代理将我的代码部署到这些数据中心的场景。这是由于一些端口的防火墙限制，特别是WinRM在我们的一些全球数据中心之间被阻止。

我们的部署是这样编写的，即单个deploy阶段可以部署到用户传入参数指定的任意数量的环境中。阶段在环境中循环，并为每个环境调用通用部署脚本。

我知道如何在阶段定义中通过其标签或其他闭包来指定代理：

stage ('a stage') {
  agent { label 'some agent label' }
  steps { ...

但在这种情况下，我正在解决在一个部署阶段部署到多个环境的问题，每个环境都需要自己的代理。

当然，我可以为每个env指定一个唯一的stage，并在适当的时候使用< code>when子句来运行它，但是这很麻烦。

我想做的是告诉管道在部署阶段内部的部署阶段使用什么代理，并能够在该单个阶段中使用多个代理，根据运行的参数动态确定。

Answer 1

答案可能不适合您的所有需求，但动态生成阶段，在此基础上，您可以通过以下方式分配/执行生成阶段。

def agents  = ['master', 'agent1', 'agent2']
 
 
def generateStage(nodeLabel) {
    return {
        stage("Runs on ${nodeLabel}") {
            node(nodeLabel) {
                echo "Running on ${nodeLabel}"
            }
        }
    }
}
def parallelStagesMap = agents.collectEntries {
    ["${it}" : generateStage(it)]
}
pipeline {
    agent none
    stages {
        stage('non-parallel stage') {
            steps {
                echo 'This stage will be executed first.'
            }
        }
 
        stage('parallel stage') {
            steps {
                script {
                    parallel parallelStagesMap
                }
            }
        }       
    }
}

此外，您可以使用＜code＞collectEntries＜/code＞，在功能框＜code＞parallelStagesMap＜/code〕之外，这样，您可以为不同的阶段使用每个collect条目，并可以动态分配阶段中的节点，在函数＜code＞generateStage＜/code>中，您需要根据需要进行修改。

如果要按顺序执行这些阶段，请从脚本中删除并行。生成阶段包含返回，如果没有它，管道将无法按预期工作。

Answer 2

我最初在SO上找到了这个答案，这给了我在舞台内获取节点的想法，而不是使用agent声明。它没有显示在script块中的获取，但我最初是这样读的，这给了我尝试在script中获取节点的想法。一旦你到了那里，尝试在循环中完成它是一个小小的飞跃。

为了证明这一点，我从代理打印了一些局部环境变量来证明我们正在交换代理，在舞台内部，在循环内部。我还向每个代理传递一个文件，以证明我可以通过防火墙传递文件。

请注意，为了连接到防火墙后面的代理，我们必须打开 Jenkins 全局安全配置中定义的端口，从控制器（也称为主节点）入站到代理，以及 https （443） 出站到控制器。入站端口配置为静态端口。

pipeline {
    agent none
    stages {
        stage ('init') {
            agent any
            steps {
                writeFile file: 'tester', text: 'i am a test file'
                stash includes: 'tester', name: 'tester'
            }
        }
        
        stage ('get agents') {
            steps {
                script {
                    ['Agent1', 'Agent2'].each { agent ->
                        node (agent) {
                            echo "I am agent `${NODE_NAME}`\nMy labels are `${NODE_LABELS}`"
                            unstash 'tester'
                            echo "the content of the file is `${readFile 'tester'}`"
                        }
                    }
                }
            }
        }
    }
}

哪些输出:

Started by user Maximilian Cascone Admin
 Running in Durability level: MAX_SURVIVABILITY
 [Pipeline] Start of Pipeline
 [Pipeline] stage
 [Pipeline] { (init)
 [Pipeline] node
 Running on Agent1 in /mnt/data/jenkins/workspace/Sandbox/mcascone/dynamic-agents
 [Pipeline] {
 [Pipeline] writeFile
 [Pipeline] stash
 Stashed 1 file(s)
 [Pipeline] }
 [Pipeline] // node
 [Pipeline] }
 [Pipeline] // stage
 [Pipeline] stage
 [Pipeline] { (get agents)
 [Pipeline] script
 [Pipeline] {
 [Pipeline] node
 Running on Agent2 in D:\workspace\Sandbox\mcascone\dynamic-agents
 [Pipeline] {
 [Pipeline] echo
 I am agent `Agent2`
 My labels are `Cider Redgate Windows Worker02 ant chef npm relativity wix`
 [Pipeline] unstash
 [Pipeline] readFile
 [Pipeline] echo
 the content of the file is `i am a test file`
 [Pipeline] }
 [Pipeline] // node
 [Pipeline] node
 Running on Agent1 in C:\jenkins\workspace\Sandbox\mcascone\dynamic-agents
 [Pipeline] {
 [Pipeline] echo
 I am agent `Agent1`
 My labels are `Itar Agent1`
 [Pipeline] unstash
 [Pipeline] readFile
 [Pipeline] echo
 the content of the file is `i am a test file`
 [Pipeline] }
 [Pipeline] // node
 [Pipeline] }
 [Pipeline] // script
 [Pipeline] }
 [Pipeline] // stage
 [Pipeline] End of Pipeline
 Finished: SUCCESS

所以我已经证明了我可以在一个阶段内动态地获得多个代理。下一步将把它提升到一个共享步骤，这样它就可以在没有script块的情况下被调用，并使管道变得漂亮整洁。但是作为一个POC，这是一个伟大的成就。我不相信我在其他地方见过这个。