开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 系统运维 -> 运维高手第07课：Jenkins 的持续集成架构及常见问题 -> 正文阅读

[系统运维]运维高手第07课：Jenkins 的持续集成架构及常见问题

Jenkins 的持续集成架构及常见问题

学前提示与基础概念

一、Jenkins 简介

首先，说到 Jenkins，你肯定知道它是一个用于搭建持续集成平台的开源工具，它的官网地址是：https://jenkins.io/。那什么是持续集成呢，持续集成是近些年来企业管理、软件开发、软件上线过程中的一个概念。我的理解是它主要强调的是：

开发人员在提交了新的代码以后，立即进行构建、（单元）测试等相关流程；自动化部署。等。

二、持续集成和 Devops 的差异

持续集成这个概念想必我们早已耳熟能详了，近些年新产生的一个概念叫作 Devops，那持续集成和 Devops 有什么差异呢？你可以看一下我这里画的一张图示：

在这里插入图片描述

我这里画了最外圈的一个方框，代表的是 Devops 一层，其里面包含了持续集成的流程部分。我们看到，里面的小方框中是持续集成覆盖的范围，包含三个部分：开发、测试和部署，这三个环节对企业开发来说是必备的，是必须要经过的流程，持续集成作到了把三个过程很好的相互串联起来。

所以持续集成覆盖的主要是开发、测试和部署三个环节，但是持续集成忽略了一个重要的步骤，就是上线以后的运维环节。运维的成本对于企业来说也是消耗比较大的，而 Devops 就集成了整个持续集成环节，并且重点融入了运维环节来考虑。

三、持续集成和 Devops 共同的技术要求

总结下，持续集成和 Devops 共同的技术要求是：

自动化，我们要做到部署自动化、测试自动化等。
各项流程需要无缝打通，如开发到测试，测试到部署，这些都要求无缝地把各个管理环节和流程打通。
交给统一平台进行可视化管理。

这就是持续集成和 Devops 所具备的共性要求。随着课程后续的进展，我们不仅会慢慢感受到持续集成的作用，更会学习到 Devops 的详细实现方式。

四、Jenkins 的持续集成方案

接下来我们来介绍第一部分的内容：基于 Jenkins 的持续集成方案。

4.1 小型集成架构

以我对 Jenkins 的了解，首先第一个持续集成的方案，就是小型的持续集成架构。我们会看到这样一张图：

在这里插入图片描述

整体上 Jenkins 把整套流程进行了串通，从研发上传到代码仓库，通过代码仓库自动触发代码的下载、代码的编译及构建，接下来做代码的测试，并且完成工程的打包，最后进行代码的部署。

我们看到，代码的部署可以通过 Shell 脚本来实现，自动发布到预上线环境和上线等环境，多套环线的打通也是在 Jenkins 中完成的。

这个架构包含这几个部分：

（1）版本库管

用 SVN 或者 Git 来做代码版本的管理，Git 和 SVN 的区别是，Git 是一个多分支的代码管理系统，通常现在大部分的企业已将 SVN 改为 Git 来做代码管理。

（2）代码构建工具

Jenkins 调用的代码构建工具，如果是 Java 的相关服务，就需要调用到 maven 或者 ant 等工具来实现 Java 代码的编译和构建。

（3）私服系统

企业会搭建一个自己的私服，可以代理远程仓库和部署自己或第三方构件。

（4）Junit 和 TestLink 通常可以用为单元测试。

（5）Shell 脚本逻辑

主要为了串联发布流程各个步骤，把测试好的代码工程包通过执行 Shell 脚本发布到各个部署环境。

4.2 微服集成架构

接下来我们再看一下所谓的微服务集成架构。
在这里插入图片描述

微服务是当前的一个主流架构，Jenkins 很好的支持企业微服务部署环节。K8s 完美地解决了调度，负载均衡，集群管理、有状态数据的管理等微服务面临的问题，成为企业微服务容器化的首选解决方案。Jenkins 支持打包部署通过 Docker 来承载应用，我们会把应用封装进镜像，然后通过 Jenkins 打包一个完整的镜像并上传到镜像仓库。

另外，我们会看到在小型的集成方案里面，Shell 是有局限性的，管理起海量的服务系统，不如 Ansible 或者自动化执行的管理模块方便，自动化运维能力也没有那么强大。这个时候我们则可以用 Ansible 来做自动化任务。

我们会看到镜像仓库，它在这套环境中的代码发布管理流程中至关重要。我们需要把每一个镜像，按照它的版本号和发布时间和主题描述来进行版本的管理，方便于发布记录及回滚，所以仓库管理也成了微服务集成架构里面非常重要的一个组件。

Jenkins 在微服务的集成架构里面起着一个核心的持续集成环境平台的作用。

4.3 Devops 集成架构

最后的一张图示，就是 Devops 集成架构了：
在这里插入图片描述

这个 Devops 平台不仅处理代码发布和自动化持续测试，更多的把运维的相关工作融入到 Devops 平台中。比如企业的资产管理、配置管理、监控等相关的运维任务平台都融合到整体的一个叫 Devops 的平台。

这样 Devops 优势会更加好体现到持续集成，如：它要发布的应用名称、主机信息等，都可以通过 Devops 平台直接获取，又如：持续集成平台需要调用指令也可以封装到 Devops 中。

五、关注重点问题

给你介绍了 Jenkins、Devops、持续集成相关概念，接下来我们来讲一讲 Jenkins 需要你关注的几个问题。

问题一、推荐快速搭建方式

在这里插入图片描述

第一个问题，就是 Jenkins 本身怎么来搭建，这里先给你介绍一套通用的搭建方案，随着本章节(部署模块)的内容往后进行，我们会了解到更多的 Jenkins 部署上的架构。这个通用的架构是什么样子的呢？这里凸现出两点：第一点就是尽可能的把 Jenkins 相关的组件来做容器化；第二点就是相关自动化的任务执行尽量交给 Ansible 来处理。这个是一个比较通用的结构。

如何来快速搭建这样的一套结构呢？这里我列了一些主要用到的命令给你介绍，你可以网上查一下相关的文章。

首先，我们会看到 Jenkins 整个通用的部署架构里面，GitLab 和 Jenkins 是两个开源的平台，Jenkins 是一个持续集成平台，而 GitLab 是一个基于 Git 的管理项目，它在 Git 管理工具的基础上，来做 Web 的平台化的代码管理。另外，GitLab 建议用容器的搭建方式上，且已有一些通用的镜像可以供下载。所以，Jenkins 和 GitLab 我们都可以通过官方的相关镜像来直接生成容器。

我们来做部署的话，需要先安装 Docker 的环境，你可以参考官网的方式去安装 Docker 的相关环境并启用 Docker 服务。而 Jenkins 和 GitLab 通过下载相应的镜像，把镜像生成为对应的容器，从而启动服务。

另外，在 Jenkins 启动正常以后，我们就可以通过控制台来进行插件下载\管理并对工作流进行配置，所以这是搭建一个通用平台的搭建步骤。

问题二、Jenkins 日志文件体积过大问题

你使用 Jenkins 来做持续集成需要关注的第二个问题，就是 Jenkins 产生的日志体积过大的问题。

我们知道 Jenkins 会默认将自己的运行日志都输出到 jenkins.log 中，尤其是在非容器的部署模式下，常常由于日志输出过多、工作流任务过多，导致磁盘出现膨胀问题，磁盘空间被占满也会导致你的任务流无法稳定运行。我们往往需要去服务器上进行日志的删除，但是这里就会遇到两个痛点：

第一个痛点，就是产生的日志集中，且没有一个可切割的工具，它会导致磁盘占用率过高，需要有一个方式来进行定时的清理，运维人员不可能频繁的去机器上做日志清理。
第二个痛点，如果通过 rm 命令删除日志可能会遇到一个问题，就是 Jenkins 本身占用这个进程，我们删除日志文件以后，因为进程依然是在运行状态的，所以它的空间并不会马上释放，需要重启 Jenkins 进程。

Jenkins 日志文件体积过大问题-解决方式

日志的切割工具 logrotate

这个时候怎么做呢？我推荐你使用一套日志的切割工具 logrotate 来做 Jenkins 的日志切割。logrotate 又是什么呢？它是 Linux 平台下的日志管理工具，用于分割日志，也就是删除旧的日志文件并且创建新的日志文件，可以起到一个日志轮转的作用。

我们配置 logrotate 需要按照配置文件规范来进行操作。假设我这里有一个 jenkins.log 文件，那么我这里列了一个事例来介绍一下 logrotate 的配置文件：

/var/log/jenkins/jenkins.log { 

hourly    //日志切割频率 

copytruncate  //输出的日志拷(copy)一份出来，再清空(trucate)原来的日志

missingok //包容文件没有找到的错误

rotate 8 //轮转次数及保留的文件数

compress  //是否通过gzip压缩转储以后?的日志文件

delaycompress  //延迟压缩

size 5G  //目标文件需要满足大于指定大小（最高优先）

}

在配置文件里面，第一项配置的 hourly，表示切割的频率，按小时来进行切割。第二个配置(copytruncate)就是输出日志拷贝，再清空原有日志，也就是说我会把原来的日志拷贝出来一份，然后再清空这个日志文件，这样的好处就是不会直接删除日志，相当于先做一个备份。

另外一个配置 missingok，可以包容文件找不到的错误，也就是说，如果我们日文件不存在，它也不会因为错误而导致中断。rotate 8 表示保留的文件份数，也就是底下会切割多少份副本做保留。后面的 compress 就是进行 gzip 压缩，我们可以把日志通过压缩的方式减少磁盘的空间占用。

后面的 delaycompress 是延迟压缩，避免 CPU 性能损耗过大可以做到延迟的压缩。size 5G 是另外一条切割的规则，也就是说，我虽然没有到一个小时，但是我的目标文件已经大于 5 个 G，所以我要优先满足这条规则来进行切割。

在配置好配置文件以后，我们就可以在控制台执行 logrotate --force /etc/logrotate.d/jenkins 命令，通常我们可以把logrotate 加入到定时任务里面去执行这条命令，这样的话就可以做到定时的日志轮转了。这就是日志体积过大问题我推荐的解决方式。