页面加载中,请稍候
来源:开源Linux发布时间:2022-11-161070浏览
询问 AI
jenkins 有 2 种流水线分为声明式流水线与脚本化流水线,脚本化流水线是 jenkins 旧版本使用的流水线脚本,新版本 Jenkins 推荐使用声明式流水线。文档只介绍声明流水线。
在声明式流水线语法中,流水线过程定义在 Pipeline{}中,Pipeline 块定义了整个流水线中完成的所有工作,比如
参数说明:
//Jenkinsfile(DeclarativePipeline)
pipeline{
agentany
stages{
stage('Build'){
steps{
echo'Build'
}
}
stage('Test'){
steps{
echo'Test'
}
}
stage('Deploy'){
steps{
echo'Deploy'
}
}
}
}
在脚本化流水线语法中,会有一个或多个 Node(节点)块在整个流水线中执行核心工作
参数说明:
//Jenkinsfile(ScriptedPipeline)二、声明式流水线
node{
stage('Build'){
echo'Build'
}
stage('Test'){
echo'Test'
}
stage('Deploy'){
echo'Deploy'
}
}
声明式流水线必须包含在一个 Pipeline 块中,比如是一个 Pipeline 块的格式
pipeline{
/*insertDeclarativePipelinehere*/
}
在声明式流水线中有效的基本语句和表达式遵循与 Groovy 的语法同样的规则,但有以下例外
声明式流水线中的 Sections 不是一个关键字或指令,而是包含一个或多个 Agent、Stages、 post、Directives 和 Steps 的代码区域块。
Agent 表示整个流水线或特定阶段中的步骤和命令执行的位置,该部分必须在 pipeline 块的顶层被定义,也可以在 stage 中再次定义,但是 stage 级别是可选的。
any在任何可用的代理上执行流水线,配置语法
pipeline{
agentany
}
none表示该 Pipeline 脚本没有全局的 agent 配置。当顶层的 agent 配置为 none 时, 每个 stage 部分都需要包含它自己的 agent。配置语法
pipeline{
agentnone
stages{
stage('StageForBuild'){
agentany
}
}
}
label以节点标签形式选择某个具体的节点执行 Pipeline 命令,例如:agent { label 'my-defined-label' }。节点需要提前配置标签。
pipeline{
agentnone
stages{
stage('StageForBuild'){
agent{label'role-master'}
steps{
echo"role-master"
}
}
}
}
node和 label 配置类似,只不过是可以添加一些额外的配置,比如 customWorkspace(设置默认工作目录)
pipeline{
agentnone
stages{
stage('StageForBuild'){
agent{
node{
label'role-master'
customWorkspace"/tmp/zhangzhuo/data"
}
}
steps{
sh"echorole-master>1.txt"
}
}
}
}
dockerfile使用从源码中包含的 Dockerfile 所构建的容器执行流水线或 stage。此时对应的 agent 写法如下
agent{
dockerfile{
filename'Dockerfile.build'//dockerfile文件名称
dir'build'//执行构建镜像的工作目录
label'role-master'//执行的node节点,标签选择
additionalBuildArgs'--build-argversion=1.0.2'//构建参数
}
}
docker相当于 dockerfile,可以直接使用 docker 字段指定外部镜像即可,可以省去构建的时间。比如使用 maven 镜像进行打包,同时可以指定 args
agent{
docker{
image'192.168.10.15/kubernetes/alpine:latest'//镜像地址
label'role-master'//执行的节点,标签选择
args'-v/tmp:/tmp'//启动镜像的参数
}
}
kubernetes需要部署 kubernetes 相关的插件,官方文档:
https://github.com/jenkinsci/kubernetes-plugin/
Jenkins 也支持使用 Kubernetes 创建 Slave,也就是常说的动态 Slave。配置示例如下
workspaceVolumepersistentVolumeClaimWorkspaceVolume(claimName:"jenkins-agent",mountPath:"/",readOnly:"false")
workspaceVolumenfsWorkspaceVolume(serverAddress:"192.168.10.254",serverPath:"/nfs",readOnly:"false")
workspaceVolumedynamicPVC(storageClassName:"nfs-client",requestsSize:"1Gi",accessModes:"ReadWriteMany")
workspaceVolumeemptyDirWorkspaceVolume()
workspaceVolumehostPathWorkspaceVolume(hostPath:"/opt/workspace",readOnly:false)
示例
agent{
kubernetes{
cloud'kubernetes'
slaveConnectTimeout1200
workspaceVolumeemptyDirWorkspaceVolume()
yaml'''
kind:Pod
metadata:
name:jenkins-agent
spec:
containers:
-args:[\'$(JENKINS_SECRET)\',\'$(JENKINS_NAME)\']
image:'192.168.10.15/kubernetes/jnlp:alpine'
name:jnlp
imagePullPolicy:IfNotPresent
-command:
-"cat"
image:"192.168.10.15/kubernetes/alpine:latest"
imagePullPolicy:"IfNotPresent"
name:"date"
tty:true
restartPolicy:Never
'''
}
}
pipeline{docker 的示例
agent{
kubernetes{
cloud'kubernetes'
slaveConnectTimeout1200
workspaceVolumeemptyDirWorkspaceVolume()
yaml'''
kind:Pod
metadata:
name:jenkins-agent
spec:
containers:
-args:[\'$(JENKINS_SECRET)\',\'$(JENKINS_NAME)\']
image:'192.168.10.15/kubernetes/jnlp:alpine'
name:jnlp
imagePullPolicy:IfNotPresent
-command:
-"cat"
image:"192.168.10.15/kubernetes/alpine:latest"
imagePullPolicy:"IfNotPresent"
name:"date"
tty:true
-command:
-"cat"
image:"192.168.10.15/kubernetes/kubectl:apline"
imagePullPolicy:"IfNotPresent"
name:"kubectl"
tty:true
restartPolicy:Never
'''
}
}
environment{
MY_KUBECONFIG=credentials('kubernetes-cluster')
}
stages{
stage('Data'){
steps{
container(name:'date'){
sh"""
date
"""
}
}
}
stage('echo'){
steps{
container(name:'date'){
sh"""
echo'k8sispod'
"""
}
}
}
stage('kubectl'){
steps{
container(name:'kubectl'){
sh"""
kubectlgetpod-A--kubeconfig$MY_KUBECONFIG
"""
}
}
}
}
}
pipeline{
agentnone
stages{
stage('ExampleBuild'){
agent{docker'maven:3-alpine'}
steps{
echo'Hello,Maven'
sh'mvn--version'
}
}
stage('ExampleTest'){
agent{docker'openjdk:8-jre'}
steps{
echo'Hello,JDK'
sh'java-version'
}
}
}
}
一般情况下 post 部分放在流水线的底部,比如本实例,无论 stage 的完成状态如何,都会输出一条 I will always say Hello again!信息
//Jenkinsfile(DeclarativePipeline)
pipeline{
agentany
stages{
stage('Example1'){
steps{
echo'HelloWorld1'
}
}
stage('Example2'){
steps{
echo'HelloWorld2'
}
}
}
post{
always{
echo'IwillalwayssayHelloagain!'
}
}
}
也可以将 post 写在 stage,下面示例表示 Example1 执行失败执行 post。
//Jenkinsfile(DeclarativePipeline)
pipeline{
agentany
stages{
stage('Example1'){
steps{
sh'ipa'
}
post{
failure{
echo'IwillalwayssayHelloagain!'
}
}
}
}
}
Steps 部分在给定的 stage 指令中执行的一个或多个步骤,比如在 steps 定义执行一条 shell 命令
//Jenkinsfile(DeclarativePipeline)
pipeline{
agentany
stages{
stage('Example'){
steps{
echo'HelloWorld'
}
}
}
}
或者是使用 sh 字段执行多条指令
//Jenkinsfile(DeclarativePipeline)
pipeline{
agentany
stages{
stage('Example'){
steps{
sh"""
echo'HelloWorld1'
echo'HelloWorld2'
"""
}
}
}
}
Directives 可用于一些执行 stage 时的条件判断或预处理一些数据,和 Sections 一致,Directives 不是一个关键字或指令,而是包含了 environment、options、parameters、triggers、stage、tools、 input、when 等配置。
Environment 主要用于在流水线中配置的一些环境变量,根据配置的位置决定环境变量的作用域。可以定义在 pipeline 中作为全局变量,也可以配置在 stage 中作为该 stage 的环境变量。该指令支持一个特殊的方法 credentials(),该方法可用于在 Jenkins 环境中通过标识符访问预定义的凭证。对于类型为 Secret Text 的凭证,credentials()可以将该 Secret 中的文本内容赋值给环境变量。对于类型为标准的账号密码型的凭证,指定的环境变量为 username 和 password,并且也会定义两个额外的环境变量,分别为MYVARNAME_USR和MYVARNAME_PSW。
基本变量使用//示例使用变量引用 secret 的凭证
pipeline{
agentany
environment{//全局变量,会在所有stage中生效
NAME='zhangzhuo'
}
stages{
stage('env1'){
environment{//定义在stage中的变量只会在当前stage生效,其他的stage不会生效
HARBOR='https://192.168.10.15'
}
steps{
sh"env"
}
}
stage('env2'){
steps{
sh"env"
}
}
}
}
//这里使用k8s的kubeconfig文件示例使用变量引用类型为标准的账号密码型的凭证
pipeline{
agentany
environment{
KUBECONFIG=credentials('kubernetes-cluster')
}
stages{
stage('env'){
steps{
sh"env"//默认情况下输出的变量内容会被加密
}
}
}
}
这里使用 HARBOR 变量进行演示,默认情况下账号密码型的凭证会自动创建 3 个变量
//这里使用k8s的kubeconfig文件示例
pipeline{
agentany
environment{
HARBOR=credentials('harbor-account')
}
stages{
stage('env'){
steps{
sh"env"
}
}
}
}
Jenkins 流水线支持很多内置指令,比如 retry 可以对失败的步骤进行重复执行 n 次,可以根据不同的指令实现不同的效果。比较常用的指令如下:
pipeline{
agentany
options{
timeout(time:1,unit:'HOURS')//超时时间1小时,如果不加unit参数默认为1分
timestamps()//所有输出每行都会打印时间戳
buildDiscarder(logRotator(numToKeepStr:'3'))//保留三个历史构建版本
quietPeriod(10)//注意手动触发的构建不生效
retry(3)//流水线失败后重试次数
}
stages{
stage('env1'){
steps{
sh"env"
sleep2
}
}
stage('env2'){
steps{
sh"env"
}
}
}
}
定义在 stage 中Option 除了写在 Pipeline 顶层,还可以写在 stage 中,但是写在 stage 中的 option 仅支持 retry、 timeout、timestamps,或者是和 stage 相关的声明式选项,比如 skipDefaultCheckout。处于 stage 级别的 options 写法如下
pipeline{
agentany
stages{
stage('env1'){
options{//定义在这里这对这个stage生效
timeout(time:2,unit:'SECONDS')//超时时间2秒
timestamps()//所有输出每行都会打印时间戳
retry(3)//流水线失败后重试次数
}
steps{
sh"envsleep2"
}
}
stage('env2'){
steps{
sh"env"
}
}
}
}
Parameters 提供了一个用户在触发流水线时应该提供的参数列表,这些用户指定参数的值可以通过 params 对象提供给流水线的 step(步骤)。只能定义在 pipeline 顶层。
插件 Parameters
示例
pipeline{
agentany
parameters{
string(name:'DEPLOY_ENV',defaultValue:'staging',description:'1')//执行构建时需要手动配置字符串类型参数,之后赋值给变量
text(name:'DEPLOY_TEXT',defaultValue:'One\nTwo\nThree\n',description:'2')//执行构建时需要提供文本参数,之后赋值给变量
booleanParam(name:'DEBUG_BUILD',defaultValue:true,description:'3')//布尔型参数
choice(name:'CHOICES',choices:['one','two','three'],description:'4')//选择形式列表参数
password(name:'PASSWORD',defaultValue:'SECRET',description:'Asecretpassword')//密码类型参数,会进行加密
imageTag(name:'DOCKER_IMAGE',description:'',image:'kubernetes/kubectl',filter:'.*',defaultTag:'',registry:'https://192.168.10.15',credentialId:'harbor-account',tagOrder:'NATURAL')//获取镜像名称与tag
gitParameter(branch:'',branchFilter:'origin/(.*)',defaultValue:'',description:'Branchforbuildanddeploy',name:'BRANCH',quickFilterEnabled:false,selectedValue:'NONE',sortMode:'NONE',tagFilter:'*',type:'PT_BRANCH')
}//获取git仓库分支列表,必须有git引用
stages{
stage('env1'){
steps{
sh"env"
}
}
stage('git'){
steps{
gitbranch:"$BRANCH",credentialsId:'gitlab-key',url:'git@192.168.10.14:root/env.git'//使用gitParameter,必须有这个
}
}
}
}
在 Pipeline 中可以用 triggers 实现自动触发流水线执行任务,可以通过 Webhook、Cron、 pollSCM 和 upstream 等方式触发流水线。
Cron定时构建假如某个流水线构建的时间比较长,或者某个流水线需要定期在某个时间段执行构建,可以 使用 cron 配置触发器,比如周一到周五每隔四个小时执行一次
注意:H 的意思不是 HOURS 的意思,而是 Hash 的缩写。主要为了解决多个流水线在同一时间同时运行带来的系统负载压力。
pipeline{
agentany
triggers{
cron('H*/4**1-5')//周一到周五每隔四个小时执行一次
cron('H/12****')//每隔12分钟执行一次
cron('H****')//每隔1小时执行一次
}
stages{
stage('Example'){
steps{
echo'HelloWorld'
}
}
}
}
UpstreamUpstream 可以根据上游 job 的执行结果决定是否触发该流水线。比如当 job1 或 job2 执行成功时触发该流水线
目前支持的状态有 SUCCESS、UNSTABLE、FAILURE、NOT_BUILT、ABORTED 等。
pipeline{
agentany
triggers{
upstream(upstreamProjects:'env',threshold:hudson.model.Result.SUCCESS)//当env构建成功时构建这个流水线
}
stages{
stage('Example'){
steps{
echo'HelloWorld'
}
}
}
}
Input 字段可以实现在流水线中进行交互式操作,比如选择要部署的环境、是否继续执行某个阶段等。
假如需要配置一个提示消息为“还继续么”、确认按钮为“继续”、提供一个 PERSON 的变量的参数,并且只能由登录用户为 alice 和 bob 提交的 input 流水线
pipeline{
agentany
stages{
stage('Example'){
input{
message"还继续么?"
ok"继续"
submitter"alice,bob"
parameters{
string(name:'PERSON',defaultValue:'MrJenkins',description:'WhoshouldIsayhelloto?')
}
}
steps{
echo"Hello,${PERSON},nicetomeetyou."
}
}
}
}
When 指令允许流水线根据给定的条件决定是否应该执行该 stage,when 指令必须包含至少 一个条件。如果 when 包含多个条件,所有的子条件必须都返回 True,stage 才能执行。
When 也可以结合 not、allOf、anyOf 语法达到更灵活的条件匹配。
目前比较常用的内置条件如下
示例:当分支为 main 时执行 Example Deploy 步骤
pipeline{
agentany
stages{
stage('ExampleBuild'){
steps{
echo'HelloWorld'
}
}
stage('ExampleDeploy'){
when{
branch'main'//多分支流水线,分支为才会执行。
}
steps{
echo'Deploying'
}
}
}
}
也可以同时配置多个条件,比如分支是 production,而且 DEPLOY_TO 变量的值为 main 时,才执行 Example Deploy
pipeline{
agentany
environment{
DEPLOY_TO="main"
}
stages{
stage('ExampleDeploy'){
when{
branch'main'
environmentname:'DEPLOY_TO',value:'main'
}
steps{
echo'Deploying'
}
}
}
}
也可以使用 anyOf 进行匹配其中一个条件即可,比如分支为 main 或 DEPLOY_TO 为 main 或 master 时执行 Deploy
pipeline{
agentany
stages{
stage('ExampleDeploy'){
when{
anyOf{
branch'main'
environmentname:'DEPLOY_TO',value:'main'
environmentname:'DEPLOY_TO',value:'master'
}
}
steps{
echo'Deploying'
}
}
}
}
也可以使用 expression 进行正则匹配,比如当 BRANCH_NAME 为 main 或 master,并且 DEPLOY_TO 为 master 或 main 时才会执行 Example Deploy
pipeline{
agentany
stages{
stage('ExampleDeploy'){
when{
expression{BRANCH_NAME==~/(main|master)/}
anyOf{
environmentname:'DEPLOY_TO',value:'main'
environmentname:'DEPLOY_TO',value:'master'
}
}
steps{
echo'Deploying'
}
}
}
}
默认情况下,如果定义了某个 stage 的 agent,在进入该 stage 的 agent 后,该 stage 的 when 条件才会被评估,但是可以通过一些选项更改此选项。比如在进入 stage 的 agent 前评估 when, 可以使用 beforeAgent,当 when 为 true 时才进行该 stage
目前支持的前置条件如下
beforeOptions 优先级大于 beforeInput 大于 beforeAgent
示例
pipeline{
agentnone
stages{
stage('ExampleBuild'){
steps{
echo'HelloWorld'
}
}
stage('ExampleDeploy'){
when{
beforeAgenttrue
branch'main'
}
steps{
echo'Deploying'
}
}
}
}
在声明式流水线中可以使用 Parallel 字段,即可很方便的实现并发构建,比如对分支 A、B、 C 进行并行处理
pipeline{
agentany
stages{
stage('Non-ParallelStage'){
steps{
echo'Thisstagewillbeexecutedfirst.'
}
}
stage('ParallelStage'){
failFasttrue//表示其中只要有一个分支构建执行失败,就直接推出不等待其他分支构建
parallel{
stage('BranchA'){
steps{
echo"OnBranchA"
}
}
stage('BranchB'){
steps{
echo"OnBranchB"
}
}
stage('BranchC'){
stages{
stage('Nested1'){
steps{
echo"InstageNested1withinBranchC"
}
}
stage('Nested2'){
steps{
echo"InstageNested2withinBranchC"
}
}
}
}
}
}
}
}
三、Jenkinsfile 的使用上面讲过流水线支持两种语法,即声明式和脚本式,这两种语法都支持构建持续交付流水线。并且都可以用来在 Web UI 或 Jenkinsfile 中定义流水线,不过通常将 Jenkinsfile 放置于代码仓库中(当然也可以放在单独的代码仓库中进行管理)。
创建一个 Jenkinsfile 并将其放置于代码仓库中,有以下好处
Jenkins 有许多内置变量可以直接在 Jenkinsfile 中使用,可以通过 JENKINS_URL/pipeline/syntax/globals#env 获取完整列表。目前比较常用的环境变量如下
http://buildserver/jenkins/job/MyJobName/17/%EF%BC%9B
示例如果一个流水线名称为print_env,第 2 次构建,各个变量的值。
BUILD_ID:2
BUILD_NUMBER:2
BUILD_TAG:jenkins-print_env-2
BUILD_URL:http://192.168.10.16:8080/job/print_env/2/
JOB_NAME:print_env
NODE_NAME:built-in
JENKINS_URL:http://192.168.10.16:8080/
WORKSPACE:/bitnami/jenkins/home/workspace/print_env
上述变量会保存在一个 Map 中,可以使用 env.BUILD_ID 或 env.JENKINS_URL 引用某个内置变量
pipeline{
agentany
stages{
stage('printenv'){
parallel{
stage('BUILD_ID'){
steps{
echo"$env.BUILD_ID"
}
}
stage('BUILD_NUMBER'){
steps{
echo"$env.BUILD_NUMBER"
}
}
stage('BUILD_TAG'){
steps{
echo"$env.BUILD_TAG"
}
}
}
}
}
}
动态变量是根据某个指令的结果进行动态赋值,变量的值根据指令的执行结果而不同。如下所示
//Jenkinsfile(DeclarativePipeline)
pipeline{
agentany
environment{
//使用returnStdout
CC="""${sh(
returnStdout:true,
script:'echo-n"clang"'//如果使用shell命令的echo赋值变量最好加-n取消换行
)}"""
//使用returnStatus
EXIT_STATUS="""${sh(
returnStatus:true,
script:'exit1'
)}"""
}
stages{
stage('Example'){
environment{
DEBUG_FLAGS='-g'
}
steps{
sh'printenv'
}
}
}
}
Jenkins 的声明式流水线语法有一个 credentials()函数,它支持 secret text(加密文本)、username 和 password(用户名和密码)以及 secret file(加密文件)等。接下来看一下一些常用的凭证处理方法。
本实例演示将两个 Secret 文本凭证分配给单独的环境变量来访问 Amazon Web 服务,需要 提前创建这两个文件的 credentials(实践的章节会有演示),Jenkinsfile 文件的内容如下
//Jenkinsfile(DeclarativePipeline)
pipeline{
agentany
environment{
AWS_ACCESS_KEY_ID=credentials('txt1')
AWS_SECRET_ACCESS_KEY=credentials('txt2')
}
stages{
stage('Examplestage1'){
steps{
echo"$AWS_ACCESS_KEY_ID"
}
}
stage('Examplestage2'){
steps{
echo"$AWS_SECRET_ACCESS_KEY"
}
}
}
}
本示例用来演示 credentials 账号密码的使用,比如使用一个公用账户访问 Bitbucket、GitLab、 Harbor 等。假设已经配置完成了用户名密码形式的 credentials,凭证 ID 为 harbor-account
//Jenkinsfile(DeclarativePipeline)
pipeline{
agentany
environment{
BITBUCKET_COMMON_CREDS=credentials('harbor-account')
}
stages{
stage('printenv'){
steps{
sh"env"
}
}
}
上述的配置会自动生成 3 个环境变量
需要加密保存的文件,也可以使用 credential,比如链接到 Kubernetes 集群的 kubeconfig 文件等。
假如已经配置好了一个 kubeconfig 文件,此时可以在 Pipeline 中引用该文件
//Jenkinsfile(DeclarativePipeline)
pipeline{
agent{
kubernetes{
cloud'kubernetes'
slaveConnectTimeout1200
workspaceVolumeemptyDirWorkspaceVolume()
yaml'''
kind:Pod
metadata:
name:jenkins-agent
spec:
containers:
-args:[\'$(JENKINS_SECRET)\',\'$(JENKINS_NAME)\']
image:'192.168.10.15/kubernetes/jnlp:alpine'
name:jnlp
imagePullPolicy:IfNotPresent
-command:
-"cat"
image:"192.168.10.15/kubernetes/kubectl:apline"
imagePullPolicy:"IfNotPresent"
name:"kubectl"
tty:true
restartPolicy:Never
'''
}
}
environment{
MY_KUBECONFIG=credentials('kubernetes-cluster')
}
stages{
stage('kubectl'){
steps{
container(name:'kubectl'){
sh"""
kubectlgetpod-A--kubeconfig$MY_KUBECONFIG
"""
}
}
}
}
}
新闻来源:开源Linux,文中所述为作者独立观点,不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj。
暂无评论哦,快来评论一下吧!

2026-06-01

2026-06-25