[系统运维]带你认识Jenkins从Gitlab拉取代码，项目部署到Tomcat全流程

一、持续集成及Jenkins介绍

1、软件开发生命周期

软件开发生命周期又叫做SDLC (Software Development Life Cycle)，它是集合了计划、开发、测试和部署
过程的集合。

需求分析–>设计–>实现 --> 测试–>运维部署–> 优化

2、 软件开发模型

2.1 软件开发瀑布模型

瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。 它是由制造业繁衍出来的。一个高度化的结构流程在一个方向.上流动，有点像生产线-样。在瀑布模型创建之初，没有其它开发的模型，有很多东西全靠开发人员去猜测，去开发。这样的模型仅适用于那些简单的软件开发，但是已经不适合现在的开发了。

2.2 软件的敏捷开发

敏捷开发(Agile Development)的核心是迭代开发(IterativeDevelopment)与增量开发(IncrementalDevelopment)。

何为迭代开发？

对于大型软件项目，传统的开发方式是采用一个大周期(比如一年)进行开发,整个过程就是一-次"大开发";迭代开发的方式则不一样，它将开发过程拆分成多个小周期，即一次"大开发"变成多次"小开发"，每次小开发都是同样的流程，所以看.上去就好像重复在做同样的步骤。

举例来说，SpaceX 公司想造一个大推力火箭， 将人类送到火星。但是，它不是一开始就造大火箭，而是先造一个最简陋的小火箭Falcon1。结果,第一-次发射就爆炸了，直到第四次发射，才成功进入轨道。然后,开发了中型火箭Falcon9,九年中发射了70次。最后，才开发Falcon重型火箭。如果SpaceX不采用迭代开发，它可 能直到现在还无法上天。

何为增量开发？

软件的每个版本，都会新增一个用户可以感知的完整功能。也就是说，按照新增功能来划分迭代。

举例来说，房产公司开发-个10栋楼的小区。如果采用增量开发的模式，该公司第一个迭代就是交付一 号楼,第二个迭代交付二号楼…每个迭代都是完成一栋完整的楼。 而不是第一个迭代挖好10栋楼的地基, 第二个迭代建好每栋楼的骨架，第三个迭代架设屋顶…

敏捷开发如何迭代？

虽然敏捷开发将软件开发分成多个迭代，但是也要求，每次迭代都是一个完整的软件开发周期， 必须按照软件工程的方法论,进行正规的流程管理。

敏捷开发的好处？

早期交付

敏捷开发的第-一个好处，就是早期交付，从而大大降低成本。

还是以上-节的房产公司为例，如果按照传统的"瀑布开发模式"，先挖10栋楼的地基、再盖骨架、然后架设屋顶，每个阶段都等到前一个阶段完成后开始，可能需要两年才能 -次性交付10栋楼。也就是说，如果不考虑预售，该项目必须等到两年后才能回款。 敏捷开发是六个月后交付一号楼，后面每两个月交付- -栋楼。因此，半年就能回款10%，后面每个月都会有现金流，资金压力就大大减轻了。

降低风险

敏捷开发的第二个好处是，及时了解市场需求，降低产品不适用的风险。

请想一想，哪一种情况损失比较小: 10栋楼都造好以后,才发现卖不出去，还是造好第一栋楼,就发现卖不出去，从而改进或停建后面9栋楼?

2.3 什么是持续集成？

持续集成( Continuous integration，简称CI)指的是，频繁地(一天多次)将代码集成到主干。

持续集成的目的，就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败,就不能集成。通过持续集成,团队可以快速的从一个功能到另一个功能，简而言之，敏捷软件开发很大一部分都要归功于持续集成。

根据持续集成的设计，代码从提交到生产,整个过程有以下几步。

• 提交
  流程的第一步, 是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的- -次提交(commit)。

• 测试
  代码仓库对commit操作配置了钩子(hpok) ，只要提交代码或者合并进主干，就会跑自动化测试。

• 构建
  通过第一轮测试，代码就可以合并进主干,就算可以交付了。
  交付后，就先进行构建(build) ，再进入第二轮测试。所谓构建，指的是将源码转换为可以运行的实际代码,
  比如安装依赖，配置各种资源(样式表、JS脚本、图片)等等。

• 部署
  过了测试，当前代码就是一个可以直接部署的版本(artifact) 。将这个版本的所有文件打包( tarfilename.tar* )存档，发到生产服务器。

• 回滚
  旦当前版本发生问题，就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接, 指向上一
  个版本的目录。

持续集成的组成要素

• 一个自动构建过程， 从检出代码、编译构建、 运行测试、 结果记录、 测试统计等都是自动完成的，无需人工干预。

• 一个代码存储库，即需要版本控制软件来保障代码的可维护性，同时作为构建过程的素材库，一般使用SVN或Git。

• 一个持续集成服务器，Jenkins 就是一个配置简单和使用方便的持续集成服务器。

持续集成的好处

1、降低风险，由于持续集成不断去构建,编译和测试，可以很早期发现问题，所以修复的代价就少;
2、对系统健康持续检查,减少发布风险带来的问题;
3、减少重复性工作;
4、持续部署，提供可部署单元包;
5、持续交付可供使用的版本;
6、增强团队信心;

二、Jenkins介绍和Gitlab安装

1、Jenkins介绍

Jenkins是一款流行的开源持续集成(Continuous Integration) 工具，广泛用于项目开发,具有自动化构建、测试和部署等功能。官网: http://jenkins-ci.org.

2、Jenkins的特征

• 开源的Java语言开发持续集成工具，支持持续集成，持续部署。
• 易于安装部署配置:可通过yum安装，或下载war包以及通过docker容器等快速实现安装部署，可方便web 界面配置管理。
• 消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知， 生成jUnit/TestNG测试报告。
• 分布式构建:支持Jenkins能够让多台计算机-起构建/测试。
• 文件识别:Jenkins能够跟踪哪次构建生成哪些jar, 哪次构建使用哪个版本的jar等。
• 丰富的插件支持:支持扩展插件,你可以开发适合自己团队使用的工具，如git, svn, maven, docker 等。

3、Jenkins的安装和持续集成的部署

• 1)首先，开发人员每天进行代码提交，提交到Git仓库
• 2)然后, Jenkins作为持续集成工具，使用Git工具到Git仓库拉取代码到集成服务器，再配合JDK, Maven等软件完成代码编译，代码测试与审查，测试，打包等工作，在这个过程中每一步出错， 都重新再执行一-次整个流程
• 3)最后，Jenkins把生成的jar或war包分发到测试服务器或者生产服务器测试人员或用户就可以访问应用

Giylab代码托管服务器安装

官网: https://about.gitlab.com/

GitLab是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具,并在此基础上搭建起来的web服务。

GitLab和GitHub一样属于第三方基于Git开发的作品，免费且开源(基于MIT协议)，与Github类似， 可以注册用户，任意提交你的代码，添加SSHKey等等。不同的是，GitLab是可以部署到自己的服务器上，数据库等一切信息都掌握在自己手上，适合团队内部协作开发，你总不可能把团队内部的智慧总放在别人的服务器上吧?
简单来说可把GitLab看作个人版的GitHub。

3.1 Gitlab安装

1.安装相关依赖
yum -y install policycoreutils openssh-server openssh-clients postfix

2.启动ssh服务&设置为开机启动
systemctl enable sshd && sudo systemctl start sshd

3.设置postfix开机自启，并启动，postfix支持gitlab发信功能
systemctl enable postfix && systemctl start postfix

4.开放ssh以及http服务,然后重新加载防火墙列表
firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload
如果关闭防火墙就不需要做以上配置

5.下载gitlab包,并且安装
在线下载安装包:
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm

安装:
rpm -ivh gitlab-ce-12.4.2 fe.0.el6.x86_ 64.rpm

6.修改gitlab配置
vim /etc/gitlab/gitlab.rb
修改gitlab访问地址和端口，默认为80，我们改为82
external_ url 'http://192.168.118.13:82'
nginx['listen_ port']= 82

7.重载配置及启动gitlab
gitlab-ctl reconfigure
gitlab-ctl restart

注意 ：页面一直卡在502

1.内存不够大

2.这个端口不能被占用了 。默认是8080，可以改成自己想要的端口或者直接kill 占用的端口

vim  /etc/gitlab/gitlab.rb打开配置文件
738  unicorn['port'] = 82
668  gitlab_workhorse['auth_backend'] = "http://localhost:82"

8.把端口添加到防火墙(如果防火墙是开启的就需要设置)
firewall-cmd --zone=public --add-port=82/tcp --permanent
firewall-cmd --reload

3.2 Gitlab添加组、创建用户、创建项目

添加组

创建用户

Gitlab用户在组里面有5种不同权限:

Guest:可以创建issue、 发表评论，不能读写版本库
Reporter:可以克隆代码，不能提交, QA、PM可以赋予这个权限
Developer:可以克隆代码、开发、提交、push,普通开发可以赋予这个权限
Maintainer:可以创建项目、添加tag、保护分支、添加项目成员、编辑项目,核心开发可以赋予这个权限
Owner:可以设置项目访问权限- Visibility Level.删除项目、迁移项目、管理组成员，开发组组长可以赋予这
个权限

现在退出用jichao 的账号登录

然后就有开发 把项目push 到Gitlab仓库中

三、持续集成环境Jenkins安装

1、Jenkins安装

官网：https://jenkins.io/zh/download/

1)安装JDK .
Jenkins需要依赖JDK,所以先安装JDK1.8
yum install java-1.8.0-openjdk* -y
安装目录为: /usr/lib/jyvm 

2)获取jenkins安装包
下载页面: https://jenkins.io/zh/download/
安装文件: jenkins-2.190.3-1.1 .noarch.rpm

3)把安装包上传到192.168.118.14服务器，进行安装
rpm -ivh jenkins-2.190.3-1.1.noarch.rpm

--------------------------------------------------------------------------------------------------------

或者 
sudo wget -O /etc/yum.repos.d/jenkins.repo \
    https://pkg.jenkins.io/redhat-stable/jenkins.repo
sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key
sudo yum upgrade
sudo yum install epel-release java-11-openjdk-devel
sudo yum install jenkins
sudo systemctl daemon-reload


4)修改Jenkins配置
vim /etc/syscofig/jenkins
修改内容如下:
JENKINS_ USER="root"
JENKINS_ PORT="8888"

5)启动Jenkins
systemctl start jenkins

6)打开浏览器访问
http://192.168.118.14:8888
注意:本服务器把防火墙关闭了，如果开启防火墙，需要在防火墙添加端口

7)获取并输入admin账户密码
cat /var/lib/jenkins/secrets/initialAdminPassword

8)跳过插件安装
因为Jenkins插件需要连接默认官网下载，速度非常慢,而且经过会失败，所以我们暂时先跳过插件安装

2、Jenkins插件管理

Jenkins本身不提供很多功能，我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码，使用Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。

修改Jenkins插件下载地址

Jenkins国外官方插件地址下载速度非常慢，所以可以修改为国内插件地址:

Jenkins->Manage Jenkins->Manage Plugins,点击Available

这样做是为了把enkins官方的插件列表下载到本地，接着修改地址文件，替换为国内插件地址

cd /var/ib/jenkins/updates

sed -i ‘s/http://updates.jenkins-ci.org/download/https://mirrors.tuna.tsinghua.edu.cn/jenkins/g’ default.json && sed -i ‘s/http://www.google.com/https://www.baidu.com/g’ default.json

最后，Manage Plugins点击Advanced,把Update Site改为国内插件下载地址

https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

Sumbit后，在浏览器输入: http://192.1 68.118.14 :8888/restart，重启Jenkins.

下载中文汉化插件

Jenkins->Mianage Jenkins->Manage Plugins,点击Available, 搜索"Chinese"

重新启动后就是汉化版

3、Jenkins用户权限管理

安装Role-based-Authorization Strategy插件

新建用户

新建一个项目jichao01

再建立一个itheima01名称的项目

发现之前分配的用户zhangsan 只能看见jichao01的项目

发现之前分配的用户lisi只能看见itheima01的项目

4、Jenkins凭证管理

凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息
Docker私有仓库密码等，以便Jenkins可以和这些第三方的应用进行交互。

安装Credentials Binding插件

要在Jenkins使用凭证管理功能，需要安装Credentials Binding插件

为了从Gitlab 上拉去代码，需要安装插件 Git

新建一个用户就有这个Git工具了

在Jenkins对应的centios 192.168.118.14 服务器上面安装Git工具

[root@jenkins updates]# yum install -y git
[root@jenkins updates]# git --version
git version 1.8.3.1

从Gitlab 里面复制地址到Jenkins中

因为我现在测试 ，没有放任何代码，如果是正常应该拉取到centos 里的/var/lib/jenkins/workspace/test01 目录中

SSH密钥类型

SSH免密登录示意图

使用rooty用户生成公钥和私钥

ssh-keygen -t rsa

使用root登录Gitlab，把私钥放在Jenkins上

复制公钥到Gitlab上去

复制私钥到Jenkins 上

Gitlab这边选择SSH链接复制

复制到Jenkins，用SSH 验证

5、Tomcat安装和配置

在192.168.118.15服务器上面 启动tomcat

传压缩包到/opt下面解压 ，进入到tomcat解压文件，cd bin , 执行 ./startup.sh,启动tomcat

进入到 /opt/tomcat/conf

vim tomcat-users.xml  修改配置文件

<role rolename="tomcat"/>
  <role rolename="role1"/>
  <user username="manager-script"/>
  <user username="manager-gui"/>
  <user username="manager-status"/>
  <user username="admin-gui"/>
  <user username="admin-script"/>
  <user username="tomcat" password="tomcat" roles="manager-script,manager-gui,tomcat,admin-gui,admin-script"/>
</tomcat-users>

用户和密码都是：tomcat


注意:为了能够刚才配置的用户登录到Tomcat,还需要修改以下配置
vim /opt/tomcat/webapps/manager/META-INF/context.xml

vim /opt/tomcat/webapps/manager/META-INF/context.xml

注释掉
 <!--
  <Valve className="org.apache.catalina.valves.RemoteAddrValve"
         allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />
  -->


/opt/tomcat/bin/shutdown.sh   停止服务
/opt/tomcat//bin/startup.sh   开启服务

登录tomcat 服务器 192.168.118.15:8080