作者：运维有术星主

KubeSphere 基于 Jenkins 的 DevOps 系统是专为 Kubernetes 中的 CI/CD 工作流设计的，它提供了一站式的解决方案，帮助开发和运维团队用非常简单的方式构建、测试和发布应用到 Kubernetes。它还具有插件管理、Binary-to-Image (B2I)、Source-to-Image (S2I)、代码依赖缓存、代码质量分析、流水线日志等功能。

DevOps 系统为用户提供了一个自动化的环境，应用可以自动发布到同一个平台。它还兼容第三方私有镜像仓库（如 Harbor）和代码库（如 GitLab/GitHub/SVN/BitBucket）。它为用户提供了全面的、可视化的 CI/CD 流水线，打造了极佳的用户体验，而且这种兼容性强的流水线能力在离线环境中非常有用。

本文档旨在成为您的技术指南，逐步引导您开启 KubeSphere 的 DevOps 之旅。我们将深入探索如何开启 DevOps 插件，如何规划设计一个完整的 DevOps 流水线并编写 Jenkins 流水线配置文件。通过本文档的实战案例，您将能够掌握从理论到实践的全过程，为您的项目带来持续集成和持续部署的自动化体验。

您将学习如何在 KubeSphere 上开启 DevOps 插件。通过实际案例，规划设计一个高效、自动化的 DevOps 流水线。我们将一起编写 Jenkinsfile，定义代码拉取、测试、编译、构建和部署的流程。最终，我们将完成一个实战项目，将理论知识转化为实际操作，让您对 KubeSphere DevOps 的应用有更深的理解。

随着 59 张高清大图的辅助，本文档将确保您在每一个步骤中都能获得清晰的指导和深刻的见解。无论您是 DevOps 的新手还是希望在 KubeSphere 上实现 DevOps 流程的老手，本文档都将为您提供宝贵的知识和实践技巧。

实战服务器配置(架构 1:1 复刻小规模生产环境，配置略有不同)

实战环境涉及软件版本信息

操作系统：openEuler 22.03 LTS SP3 x86_64KubeSphere：v3.4.1Kubernetes：v1.28.8KubeKey: v3.1.1ks-jenkins： v3.4.0-2.319.3-1

1. 开启 DevOps 组件

1.1 前提说明

现在，新部署的 KubeSphere v3.4.1 开启 DevOps 插件会有问题，具体描述见 KubeSphere 镜像构建器（S2I）服务证书过期(x509)问题。

在开启之前我们先修复存在的问题。

清理开启失败的残留 release（适用于开启过 DevOps 且安装失败）

<code>helm -n kubesphere-devops-system delete devops

执行下面命令，获取 ks-installer 镜像

$ kubectl -n kubesphere-system get deployments ks-installer --no-headers -o custom-columns=:.spec.template.spec.containers[0].image

kubesphere/ks-installer:v3.4.1

在获取的镜像最后加上 ‘-patch.0’ ，执行下面命令更新 ks-installer 镜像

$ kubectl -n kubesphere-system patch deployments ks-installer --type='json' -p='[{"op": "replace", "path": "/spec/template/spec/containers/0/image", "value": "kubesphere/ks-installer:v3.4.1-patch.0"}]'code>

更新镜像后 ks-installer 会自动重启并根据 ClusterConfiguration 里的配置安装各个开启的未安装的模块。

1.2 开启 DevOps 组件配置

在自定义资源中，点击 <code>ks-installer右侧的三个竖点 ，选择编辑 YAML。

在该 YAML 文件中，搜索 <code>devops，将 enabled 的 false 改为 true。完成后，点击右下角的确定，保存配置，保存之后 KubeSphere 会自动安装 devops 插件。

devops:

enabled: true

jenkinsCpuLim: 1

jenkinsCpuReq: 0.5

jenkinsMemoryLim: 4Gi

jenkinsMemoryReq: 4Gi

jenkinsVolumeSize: 16Gi

注意：上面的参数配置是默认值，仅适用于测试环境，生产环境建议根据规模调大参数值。

1.3 验证

在 kubectl 中执行以下命令检查安装过程。

$ kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l 'app in (ks-install, ks-installer)' -o jsonpath='{.items[0].metadata.name}') -fcode>

正确执行后，输出结果如下 :

PLAY RECAP *********************************************************************

localhost : ok=26 changed=14 unreachable=0 failed=0 skipped=21 rescued=0 ignored=0

Start installing monitoring

Start installing multicluster

Start installing openpitrix

Start installing network

Start installing devops

**************************************************

Waiting for all tasks to be completed ...

task network status is successful (1/5)

task openpitrix status is successful (2/5)

task multicluster status is successful (3/5)

task monitoring status is successful (4/5)

task devops status is successful (5/5)

**************************************************

Collecting installation results ...

#####################################################

### Welcome to KubeSphere! ###

#####################################################

......

检查 Kubernetes 集群 kubesphere-devops-system 命名空间的资源运行状态。

$ kubectl get all -n kubesphere-devops-system

NAME READY STATUS RESTARTS AGE

pod/devops-28717020-l769w 0/1 Completed 0 14m

pod/devops-apiserver-858fdcc978-hwxbf 1/1 Running 0 15m

pod/devops-controller-989995d9f-wc6hs 1/1 Running 0 15m

pod/devops-jenkins-df4d7cd4b-pkmhn 1/1 Running 0 15m

pod/s2ioperator-0 1/1 Running 0 14m

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

service/devops-apiserver ClusterIP 10.233.42.51 <none> 9090/TCP 15m

service/devops-jenkins NodePort 10.233.48.8 <none> 80:30180/TCP 15m

service/devops-jenkins-agent ClusterIP 10.233.3.210 <none> 50000/TCP 15m

service/s2ioperator-metrics-service ClusterIP 10.233.60.160 <none> 8080/TCP 15m

service/s2ioperator-trigger-service ClusterIP 10.233.13.255 <none> 8081/TCP 15m

service/webhook-server-service ClusterIP 10.233.1.199 <none> 443/TCP 15m

NAME READY UP-TO-DATE AVAILABLE AGE

deployment.apps/devops-apiserver 1/1 1 1 15m

deployment.apps/devops-controller 1/1 1 1 15m

deployment.apps/devops-jenkins 1/1 1 1 15m

NAME DESIRED CURRENT READY AGE

replicaset.apps/devops-apiserver-858fdcc978 1 1 1 15m

replicaset.apps/devops-controller-989995d9f 1 1 1 15m

replicaset.apps/devops-jenkins-df4d7cd4b 1 1 1 15m

NAME READY AGE

statefulset.apps/s2ioperator 1/1 45m

NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE

cronjob.batch/devops 0/30 * * * * False 0 14m 15m

NAME COMPLETIONS DURATION AGE

job.batch/devops-28717020 1/1 15s 14m

注意：实际部署中会增加 Minio 、OpenLDAP，还有一组 Argo CD 的服务组件。

安装 KubeSphere 之后，您需要向平台添加具有不同角色的用户，以便他们可以针对自己授权的资源在不同的层级进行工作。一开始，系统默认只有一个用户 <code>admin，具有 platform-admin 角色。在本步骤中，我将创建一个示例用户 opsxlab。

以 admin 身份使用默认帐户和密码 (admin/P@88w0rd) 登录 Web 控制台。点击左上角的平台管理，然后选择访问控制。

在用户中，点击创建。

在弹出的对话框中，填写所有必要信息（带有标记）。在*平台角色下拉列表，选择platform-self-provisioner。点击确定。新创建的用户将显示在用户**页面。

在用户页面，查看创建的用户。

2.2 创建企业空间

企业空间是 KubeSphere 多租户系统的基础，是管理项目、DevOps 项目和组织成员的基本逻辑单元。

在左侧导航栏，选择企业空间。企业空间列表中已列出默认企业空间 system-workspace，该企业空间包含所有系统项目。其中运行着与系统相关的组件和服务，您无法删除该企业空间。

在企业空间列表页面，点击创建，输入企业空间的名称（例如 opsxlab），并将用户 <code>opsxlab 设置为企业空间管理员。完成后，点击创建。

点击「创建」返回。

登出控制台，然后以 <code>opsxlab 身份重新登录，验证是否能成功登录。

成功登录后，显示「企业空间」页面。

2.3 创建项目

在此步骤中，您需要使用在上一步骤中创建的帐户 <code>opsxlab 来创建项目。KubeSphere 中的项目与 Kubernetes 中的命名空间相同，为资源提供了虚拟隔离。

以 opsxlab 身份登录 KubeSphere Web 控制台，点击企业空间 opsxlab，进入企业空间概览。

在项目中，点击创建。

输入项目名称（例如 <code>opsxlab），点击确定。您还可以为项目添加别名和描述。

完成创建

在项目中，点击刚创建的项目查看其详情页面。

在项目的概览页面，默认情况下未设置项目配额。您可以点击编辑配额并根据需要指定资源请求和限制（例如：CPU 和内存的限制分别设为 1 Core 和 1000 Gi）。

2.4 创建 DevOps 项目

以 <code>opsxlab 身份登录 KubeSphere 控制台，转到 DevOps 项目，然后点击创建。

输入 DevOps 项目名称（例如 <code>opsxlab-devops），然后点击确定，也可以为该项目添加别名和描述。

DevOps 项目创建后，会显示在下图所示的列表中。

点击刚创建的 DevOps 项目查看其详细页面。

3. DevOps 流水线规划设计

KubeSphere 官方提供的示例项目中的 <code>Jenkinsfile-online 流水线设计更贴近生产环境，流程比较复杂，小白理解起来可能会有困难。为了让小白快速上手 KubeSphere DevOps 的功能，我设计了一个简化版的流程。

本文我们基于 Jenkins 模拟生产环境应用发布的流程，实现如下的 DevOps 流水线任务：

阶段 1：Checkout SCM：从 Git 仓库检出源代码，本文使用 Gitee 作为示例，GitHub 或是自建 GitLab 流程类似。阶段 2：单元测试：待该测试通过后才会进行下一阶段。阶段 3：编译 Java 源码：使用 Maven 构建 Jar 包。阶段 4：构建并推送 tag 镜像：根据运行流水线时输入的分支来构建镜像，并将标签为 TAG_NAME 的镜像推送至 Harbor 镜像仓库。阶段 5：推送最新镜像：将 TAG_NAME 标签的镜像标记为 latest，并推送至 Harbor 镜像仓库。阶段 6：部署至生产环境：将已发布的 TAG_NAME 标签镜像部署到生产环境，此阶段需要审核。

4. 实现流水线的准备工作

设置 CI 专用节点用于运行流水线准备一个 Gitee 帐户（用于存放代码，也可以使用自己搭建的 GitLab 或是 GitHub）准备一个 Harbor 镜像仓库，并创建账户（用于存放构建的镜像，也可以使用 DockerHub 或是其他镜像仓库）创建 kubeconfig 凭证创建一个 DevOps 项目（使用上文创建的 opsxlab-devops）

4.1 为依赖项缓存设置 CI 专用节点

通常情况下，构建应用程序的过程中需要拉取不同的依赖项。这可能会导致某些问题，例如拉取时间长和网络不稳定，这会进一步导致构建失败。

我们可以配置一个节点或一组节点，专门用于持续集成 (CI)。这些 CI 节点可以通过使用缓存来加快构建过程。为我们流水线提供更可靠和稳定的环境。

执行下面的命令，标记节点 ksp-worker-1 作为 CI 节点：

kubectl label nodes ksp-worker-1 node-role.kubernetes.io/worker=ci --overwrite

4.2 创建 Gitee 仓库访问凭证

Step1：在 Gitee 上执行下面的任务。

登录 Gitee 创建私人令牌，点击「生成新令牌」。

填写描述信息，并设置最小权限。

点击「提交」,弹出「私人令牌生成提示」，请妥善保存生成的令牌。

点击「确认并关闭」，返回私人令牌管理页面。

Step2：在 KubeSphere 控制台上执行下面的任务。

以 <code>opsxlab 身份登录 KubeSphere 控制台。进入您的 DevOps 项目，在左侧导航栏，选择DevOps 项目设置 > 凭证。在右侧的凭证区域，点击创建。

在弹出的创建凭证对话框，设置以下参数：

名称：填写凭证名称 <code>opsxlab-gitee类型：选择用户名和密码用户名：输入您的 Gitee 账户名称 opsxlab密码/令牌：输入您在 Gitee 中创建的私人令牌

4.3 创建 Harbor 仓库访问凭证

Step1：在 Harbor 上执行下面的任务。

登录 Harbor，选择「系统管理」 -> 「机器人账户」，点击「添加机器人账户」

填写基本信息，名称输入 <code>devops，系统会自动增加 robot- 的前缀，过期时间选择，永不过期。

说明： 您的机器人名称前缀可能是 <code>robot$，请到「配置管理」-「系统设置」中修改。

设置系统权限，考虑最小化原则，不选择任何系统权限。

设置项目权限，为了顺利完成后面的演示。这里，我选择了「覆盖全部项目」，并「全选」所有权限（生产环境请考虑最小化原则，按需分配权限），点击「完成」按钮。

弹出创建成功页面，复制令牌内容，点击「导出到文件中」，页面会自动关闭。

Step2：在 KubeSphere 控制台上执行下面的任务。

以 <code>opsxlab 身份登录 KubeSphere 控制台。进入您的 DevOps 项目，在左侧导航栏，选择DevOps 项目设置 > 凭证。在右侧的凭证区域，点击创建。在弹出的创建凭证对话框，设置以下参数：

名称：填写凭证名称 opsxlab-harbor类型：选择用户名和密码。用户名：输入您的 Harbor 机器人名称 robot-devops密码/令牌：输入您的 Harbor 机器人令牌

4.4 创建 kubeconfig 凭证

接下来，我们创建 kubeconfig 凭证。

以 <code>opsxlab 身份登录 KubeSphere 控制台。进入您的 DevOps 项目，在左侧导航栏，选择DevOps 项目设置 > 凭证。在右侧的凭证区域，点击创建。在弹出的创建凭证对话框，设置以下参数：

名称：设置凭证名称，例如 opsxlab-kubeconfig类型：选择kubeconfig内容：系统自动获取当前 Kubernetes 集群的 kubeconfig 文件内容，并自动填充该字段，您无须做任何更改。但是访问其他集群时，您可能需要更改 kubeconfig

4.5 凭证列表

创建完成的所有凭证列表如下所示：

5. DevOps 流水线实战

5.1 在 Gitee 仓库中 Fork 测试项目

登录 Gitee， Fork KubeSphere 官方提供的 GitHub 上的测试项目 devops-maven-sample 至您的 Gitee 个人帐户。

项目 URL 为 <code>https://github.com/kubesphere/devops-maven-sample ，操作过程参考如下：

在 Gitee 个人主页，点击「右上角的加号」，选择「从 GitHub/GitLab 导入仓库」。

仓库类型选择私有，并填写其它信息，点击「导入」。

成功导入后的内容如下：

5.2 新增 Jenkinsfile

根据流水线规划设计，直接在 <code>Master 分支新建一个 Jenkinsfile-sample 实现简化版流水线。

说明： 实际使用中，本文示例的流水线不会直接到代码仓库拉取 Jenkinsfile-sample 文件。将该文件存入代码仓库的 master 分支，是为了实现版本管理和后续的实验。

在您自己的 Gitee 仓库 devops-maven-sample 中的 master 分支，点击右上角的加号按钮，点击「新建文件」。

需要填写的信息如下图：

文本框内流水线核心内容如下：

<code>pipeline {

agent {

node {

label 'maven'

}

}

parameters {

string(name:'BRANCH_NAME',defaultValue: 'master',description:'')

string(name:'TAG_NAME',defaultValue: '',description:'')

}

environment {

DOCKER_CREDENTIAL_ID = 'opsxlab-harbor'

GITHUB_CREDENTIAL_ID = 'opsxlab-gitee'

KUBECONFIG_CREDENTIAL_ID = 'opsxlab-kubeconfig'

REGISTRY = 'registry.opsxlab.cn:8443'

DOCKERHUB_NAMESPACE = 'opsxlab'

GITHUB_ACCOUNT = 'opsxlab'

APP_NAME = 'devops-maven-sample'

GIT_REPOSITORY_URL = 'https://gitee.com'

}

stages {

stage('拉取代码') {

steps {

git(url: "${GIT_REPOSITORY_URL}/${GITHUB_ACCOUNT}/${APP_NAME}.git", credentialsId: "${GITHUB_CREDENTIAL_ID}", branch: "$BRANCH_NAME", changelog: true, poll: false)

}

}

stage ('编译测试') {

steps {

container ('maven') {

sh 'mvn clean test'

}

}

}

stage ('编译构建') {

steps {

container ('maven') {

sh 'mvn clean package -DskipTests'

}

}

}

stage ('制作并推送镜像') {

steps {

container ('maven') {

withCredentials([usernamePassword(passwordVariable : 'DOCKER_PASSWORD', usernameVariable : 'DOCKER_USERNAME', credentialsId : "$DOCKER_CREDENTIAL_ID" ,)]) {

sh 'echo "$DOCKER_PASSWORD" | podman login $REGISTRY -u "$DOCKER_USERNAME" --password-stdin'

sh 'podman build -f Dockerfile-online -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME .'

sh 'podman push $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME'

}

}

}

}

stage('推送 latest 标签'){

when{

branch 'master'

}

steps{

container ('maven') {

sh 'podman tag $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest '

sh 'podman push $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest '

}

}

}

stage('部署到 k8s Prod 集群') {

when{

branch 'master'

}

steps {

input(id: 'deploy-to-dev', message: 'deploy to K8s Prod?')

container ('maven') {

withCredentials([

kubeconfigFile(credentialsId: env.KUBECONFIG_CREDENTIAL_ID, variable: 'KUBECONFIG')]) {

sh 'envsubst < deploy/prod-all-in-one/devops-sample.yaml | kubectl apply -f -'

}

}

}

}

}

}

重要变量说明：

编辑内容后，点击页面底部的 提交，更新 <code>master 分支中的文件。

5.3 修改 Dockerfile-online

Dockerfile 中使用的基础镜像为 DockerHub 上的 java:8u92-jre-alpine，网络受限的用户可以提前拉取该镜像到本地镜像仓库，并修改 Dockerfile 文件。

在您自己的 Gitee 仓库 devops-maven-sample 中的 master 分支，点击根目录中的文件 Dockerfile-online。点击右侧的编辑按钮，编辑自定义配置。修改后的最终内容如下

FROM registry.opsxlab.cn:8443/library/java:8u92-jre-alpine

WORKDIR /home

COPY target/*.jar /home

ENTRYPOINT java -jar *.jar

编辑内容后，点击页面底部的 提交，更新 Master 分支中的文件。

5.4 创建项目

接下来我们在 KubeSphere 上创建一个项目 kubesphere-sample-prod，代表生产环境。待流水线成功运行，将在这个项目中自动创建应用程序的相关部署 (Deployment) 和服务 (Service)。

以 opsxlab 身份登录 KubeSphere。在您创建 DevOps 项目的企业空间中创建项目 kubesphere-sample-prod。

项目创建后，会显示在项目列表中。

5.5 创建流水线

以 <code>opsxlab 身份登录 KubeSphere。转到 DevOps 项目 opsxlab-devops，点击创建。

在弹出的对话框中，填入基本信息，将其命名为 <code>jenkinsfile-sample 并在流水线类别下拉列表中选择流水线。

点击「下一步」，在高级设置中，所有配置项使用默认值。

点击「创建」，完成创建并返回流水线列表。

5.6 运行流水线

流水线创建后，点击该流水线名称进入其详情页面。

备注: 流水线详情页显示同步状态，即 KubeSphere 和 Jenkins 的同步结果。若同步成功，您会看到成功图标中打上绿色的对号。

点击「编辑 Jenkinsfile」，输入 Gitee 仓库 devops-maven-sample 中<code>Jenkinsfile-sample 文件的内容，点击「确定」。

点击「运行记录」，再点击「流水线配置」，刷新流水线内容。图形化显示流水线配置。

点击「运行」，在弹出的「设置参数」窗口，输入TAG_NAME 的值 v0.0.1，BRANCH_NAME 参数使用默认值 <code>master，点击「确定」。

说明： 第一次运行时，可能不会弹出设置参数窗口，请立即点击「运行记录」，停止对应的任务后。再次点击「运行」。

稍等片刻，没有异常时，会以图形化展示完整的流水线流程及任务执行进度。

流水线在 <code>部署到 K8s Prod 集群 阶段暂停，您需要手动点击绿色的 Proceed 按钮，继续流水线任务。

特殊说明：

在开发或生产环境中，可能需要具有更高权限的人员（例如版本管理员）来审核流水线、镜像以及代码分析结果。他们有权决定流水线是否能进入下一阶段。在 Jenkinsfile 中，您可以使用 <code>input 来指定由谁审核流水线。如果您想指定一个用户（例如 project-admin）来审核，您可以在 Jenkinsfile 中添加一个字段。在 KubeSphere 3.4 中，如果不指定审核员，那么能够运行流水线的帐户也能够继续或终止该流水线。如果指定审核员，流水线创建者或者您指定的审核员账户均有权限继续或终止流水线。本文示例没有增加额外的审核员，直接使用创建流水线的账户继续执行流水线任务。

5.7 检查流水线状态

在运行日志中，您可以查看流水线的运行状态。请注意，流水线在刚创建后将继续初始化几分钟。示例流水线有六个阶段，它们已在 Jenkinsfile-sample中单独定义。

点击每一个阶段名称，比如编译构建。可以查看该阶段的详细运行日志。

点击右上角的查看完整日志来查看流水线完整的运行日志。您可以看到流水线的动态日志输出，包括可能导致流水线无法运行的错误。对于每个阶段，您都可以点击该阶段来查看其日志，而且可以将日志下载到本地计算机进行进一步分析（图略）。流水线的每一次运行，在「运行记录」中都会有完整的记录，如下所示。

5.8 验证结果

流水线成功运行后，会自动推送 Docker 镜像并在 K8s 集群中部署服务。按照 Jenkinsfile 中的定义，通过流水线构建的 Docker 镜像已成功推送到 Harbor 镜像仓库。在 Harbor 镜像仓库中，您会看到带有标签 <code>v0.0.1和 latest 的镜像。

示例应用程序将部署到 <code>kubesphere-sample-prod项目，并创建相应的部署和服务。转到这个项目，预期结果如下所示：

查看部署（Deployment）

查看服务（ Service）

5.9 访问示例服务

在 K8s 控制节点，使用 kubectl 执行以下命令，获取 ks-sample 服务的 NodePort

<code>$ kubectl get svc -n kubesphere-sample-prod

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

ks-sample NodePort 10.233.10.213 <none> 8080:30961/TCP 1h

使用 curl 访问 {$NodeIP}:{$NodePort}。

$ curl 192.168.9.91:30961

Really appreciate your star, that's the power of our life.

免责声明：

笔者水平有限，尽管经过多次验证和检查，尽力确保内容的准确性，但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。本文所述内容仅通过实战环境验证测试，读者可学习、借鉴，但严禁直接用于生产环境。由此引发的任何问题，作者概不负责！

本文由博客一文多发平台 OpenWrite 发布！