Jenkins多分支管道：生成结束时清理工作区/删除目录

Question

我们使用Jenkins多分支（脚本化）管道并行运行多个构建。每一个都将创建一个新的、唯一命名的目录来签出代码并运行测试。目录是唯一命名的，因为它们包含分支名称，但也包含随机部分，如“JAA2A5HUZB7TRE4OTVXU7S…”。

这意味着在每次构建之后，X个目录（X=并行作业数*分支数）将保留在Jenkins节点上，以填充磁盘空间。

我想知道如何自动删除这些目录。

我的初始管道的简化版本如下所示

// Initialize the matrix
def matrix = [
  'foo',
  'bar',
]

// Initialize empty tasks map
def tasks = [:]

// Job status
successful = true

// Fill our tasks map from the Matrix data
for (x in matrix) {

  def job_name = x

  tasks[job_name] = {
    node('libvirt') {
        // Checkout repository first
        stage("$job_name - Checkout") {
          checkout scm
        }

        // Then build the machine
        gitlabCommitStatus('build') {
            stage("$job_name - Build") {
                  sh "./bin/build.sh ${job_name}"
            }
        }
      }
    }
  }
}


//// Pipeline ////

notifyBuild('STARTED')

// Run tasks in parallel
try {
  parallel tasks
} catch(e) {
  throw e
} finally {
  if (successful) {
    notifyBuild('SUCCESS')
  } else {
    notifyBuild('FAILED')
  }
}

// Methods
def notifyBuild(String buildStatus = 'STARTED') {
   // used to send formatted e-mails 
}

我首先添加了deleteDir（）

} finally {
  if (successful) {
    notifyBuild('SUCCESS')
  } else {
    notifyBuild('FAILED')
  }
  node('libvirt') {
    deleteDir()
  }
}

它会引发错误并使生成失败。

然后我像这样添加了一个cleanWs（）

} finally {
  if (successful) {
    notifyBuild('SUCCESS')
  } else {
    notifyBuild('FAILED')
  }
  node('libvirt') {
    cleanWs()
  }
}

输出是

Running on node in /srv/jenkins/workspace/pipeline-deletedir-DRD7EKBEMMWJQZW6KKMQVVBTJTPTKLRAE2ITDK7V7IB5PTFXZUZA
[Pipeline] {
[Pipeline] step
[WS-CLEANUP] Deleting project workspace...[WS-CLEANUP] done
[Pipeline] }
[Pipeline] // node
[Pipeline] End of Pipeline
Finished: SUCCESS

但是目录 /srv/jenkins/workspace/pipeline-deletedir-DRD7EKBEMMWJQZW6KKMQVVBTJTPTKLRAE2ITDK7V7IB5PTFXZUZA仍然存在。

我正在寻找任何解决方案来调整这个脚本化管道（以及声明性管道，如果您知道怎么做的话），以便能够删除由构建创建的所有目录。

Answer 1

我认为最好的方法是在所有阶段之后添加帖子部分：

    stages {
         stage("$job_name - Build") {
             sh "./bin/build.sh ${job_name}"
         }
    }
        
    post {
         always {
             echo 'One way or another, I have finished'
             deleteDir() /* clean up our workspace */
         }
    }

Answer 2

解决方案是在stage（$job\u name-Build）步骤中添加try/catch/finally，如

gitlabCommitStatus('build') {
    stage("$job_name - Build") {
        try {
            sh "./bin/build.sh ${job_name}"
         } catch (Exception e) {
            raise e
         } finally {
            deleteDir()
         }
    }
}

这并没有删除所有涉及的目录（因为詹金斯问题https://issues.jenkins-ci.org/browse/JENKINS-41805），但它删除了所有大量的目录（包含代码/构建/工件...）。

您需要添加“提高e”，否则构建将始终返回成功，即使其中一个失败。

Answer 3

首先，您不能删除生成仍在运行的目录。deleteDir（）步骤只是删除工作区的内容。

您可以触发在生成完成后运行的作业，该作业将删除这些目录。为此，可以使用类似于pipeline deletedir-*的模式。