计算机系统应用教程网站

网站首页 > 技术文章 正文

史上最全的实际操作的!git+jenkins+k8s 自动化部署运维

btikc 2024-09-03 11:41:36 技术文章 10 ℃ 0 评论

之前说过各家公司的CICD落地方案不同，五花八门，之前说过java的微服务，k8s的集群环境，在这位基础，包括代码的编译，代码的提交，单元测试服务的发布，关键的节点自动化起来。



Jenkins

java编写的开源的工具，jenkins比较灵活，可以通过插件的方式，添加所需要的插件，除了扩展性还支持多台机器的分布式构建，jenkins的用户群很庞大，可以说是目前最主流的部署工具。

梳理流程git+jenkins+k8s

  1. 客户端发起代码push到gitlab上
  2. gitlab配置了webhook的东西，它可以出发jenkins的构建
  3. jenkins做的事情就比较多
  4. 3.1 构建代码
  5. 3.2 静态分析
  6. 3.3 单元测试
  7. 3.4 build镜像
  8. 3.5 推送push镜像仓库
  9. 3.6 调用k8s的api
  10. k8s拉取镜像仓库的进行部署。

GitLab安装（101这台主机）

源码中server01

  • 下载镜像
$ docker pull gitlab/gitlab-ce:latest



  • 运行GitLab容器

使用docker命令运行容器，注意修改hostname为自己喜欢的名字，-v部分挂载目录要修改为自己的目录。

端口映射这里使用的都是安全端口，如果大家的环境没有端口限制或冲突可以使用与容器同端口，如：-p 443:443 -p 80:80 -p 22:22

  • 生成启动文件 - start.sh
cat <<EOF > start.sh
#!/bin/bash
HOST_NAME=gitlab.idig8.com
GITLAB_DIR=`pwd`
docker stop gitlab
docker rm gitlab
docker run -d \\
 --hostname \${HOST_NAME} \\
 -p 8443:443 -p 8080:80 -p 2222:22 \\
 --name gitlab \\
 -v \${GITLAB_DIR}/config:/etc/gitlab \\
 -v \${GITLAB_DIR}/logs:/var/log/gitlab \\
 -v \${GITLAB_DIR}/data:/var/opt/gitlab \\
 gitlab/gitlab-ce:latest
EOF



  • 运行start.sh 启动gitlab
sh start.sh



  • 配置环境

修改host文件，使域名可以正常解析

192.168.66.101 gitlab.idig8.com




  • 修改ssh端口（如果主机端口使用的不是22端口）

修改文件：${GITLAB_DIR}/config/gitlab.rb

找到这一行：# gitlab_rails['gitlab_shell_ssh_port'] = 22

把22修改为你的宿主机端口（这里是2222）。然后将注释去掉。



  • 重新启动容器
sh start.sh



GitLab试用

地址：http://gitlab.idig8.com:8080/

  • 设置管理员密码

首先根据提示输入管理员密码，这个密码是管理员用户的密码。对应的用户名是root，用于以管理员身份登录Gitlab。



  • 创建账号

设置好密码后去注册一个普通账号



  • 创建项目

注册成功后会跳到首页，我们创建一个项目，名字大家随意





  • 添加ssh key

项目建好了，我们加一个ssh key，以后本地pull/push就简单啦



首先去到添加ssh key的页面



然后拿到我们的sshkey 贴到框框里就行啦

怎么拿到呢？看下面：

#先看看是不是已经有啦，如果有内容就直接copy贴过去就行啦
cat ~/.ssh/id_rsa.pub
#如果上一步没有这个文件 我们就创建一个，运行下面命令（邮箱改成自己的哦），一路回车就好了
ssh-keygen -t rsa -C "394498036@qq.com"
cat ~/.ssh/id_rsa.pub




PS：目的是本地push的时候没有权限问题，方便直接提交代码到gitlab上。

  • 测试一下
  • 点开我们刚创建的项目，复制ssh的地址

添加个文件试试（我的项目叫microservice）

#clone代码
cd existing_folder
git init
git remote add origin ssh://git@gitlab.idig8.com:2222/liming/microservice.git
git add .
git commit -m "Initial commit"
git push -u origin master






Jenkins安装（102这台主机）

源码中server02

  • 下载镜像
docker pull stephenreed/jenkins-java8-maven-git



  • 运行Jenkins容器

使用docker命令运行容器，注意修改hostname为自己喜欢的名字，-v部分挂载目录要修改为自己的目录。

端口映射这里使用的都是安全端口，如果大家的环境没有端口限制或冲突可以使用与容器同端口，如：-p 443:443 -p 80:80 -p 22:22

  • 生成启动文件 - startJenkins.sh
cat <<EOF > startJenkins.sh
#!/bin/bash
HOST_NAME=jenkins.idig8.com
GITLAB_DIR=/root
docker stop jenkins
docker rm jenkins
docker run -d \
 --hostname ${HOST_NAME} \
 -p 8888:8080 -p 50000:50000 \
 --name jenkins \
 -v ${GITLAB_DIR}/jenkins/:/etc/localtime:ro \
 -P stephenreed/jenkins-java8-maven-git
EOF



  • 运行startJenkins.sh 启动gitlab
sh startJenkins.sh



  • 配置环境

修改host文件，使域名可以正常解析

192.168.66.102 jenkins.idig8.com



  • 查看初始化秘钥
docker ps 
docker exec -it f3111725cd64 /bin/bash
cat /var/jenkins_home/secrets/initialAdminPassword



页面输入刚才的秘钥



  • 选择插件



其他默认，Pipelines全选







涉及到跨域，需要关闭，系统管理-全局安全



PS：可能有的插件安装不了，不要慌老铁，进入到jenkins的管理页面会提示你更新jenkins更新下，然后插件又可以自动下载安装完毕了。

了解git代码提交完成jenkins的构建

进入项目选择settings里面的Integrations



这里可以配置一个url，默认的trigger触发器push的时候，



这里的url地址是哪里来的。请查看jenkins，因为本身gitlab里面的微服务比较多，选择其中的一个服务吧，新建一个任务名称：user-edge-service，允许url远程触发构建任务。




Jenkins中的Job配置里缺少 触发远程构建（例如，使用脚本） 选项的



如图所示的功能没有出现在Job配置页面，这是由于权限问题导致的：



关闭防止跨站点请求伪造



gitlab的Integrations的URL地址修改：

http://192.168.66.102:8888/job/user-edge-service/build?token=123456




gitlab设置Webhooks报错Urlis blocked: Requests to localhost are not allowed。admin 登录设置







gitlab的Integrations，添加完毕。



jenkins的添加完毕




  • 测试一把



返回201，说明构建返回成功。





构建说明

咱们的所有构建都是基于pipline的，脚本是用groovy来做的，如果老铁有不会的可以查看，可以流水线语法。




  • 开始pipline的编写

Jenkins Pipeline是一套插件，支持将连续输送Pipeline实施和整合到Jenkins。Pipeline 提供了一组可扩展的工具，用于通过Pipeline DSL为代码创建简单到复杂的传送Pipeline 。



写个测试的试试

#!groovy
pipeline {
//之前说过jenkins是支持集群的，但是咱们这里不需要集群的方式，因为有了k8s。any在任何可用的agent 上执行
 agent any
 //环境变量，
 environment {
 REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
 
 }
 //流水线是如何提前，都是通过很多个stages下面的stage
 stages {
 stage('获取代码'){
 steps{
 echo " start fetch code from git ssh://git@192.168.66.101:2222/liming/microservice.git"
 deleteDir()
 git "${REPOSITORY}"
 }
 }
 }
}



点击立即构建，然后查看效果





jenkins所在容器未配置，秘钥到gitlab上，来一起配置下



进入102的主机上

docker ps
docker exec -it d918e00a583f /bin/bash
ssh-keygen -t rsa -C "394498036@qq.com"
cat /root/.ssh/id_rsa.pub




在容器内试试看能git clone 不



在试试，立刻构建




查看目录



需要配置maven仓库地址，当前这个镜像nds国内不识别，在容器内需要操作

echo "nameserver 8.8.8.8" | tee /etc/resolv.conf > /dev/null
apt-get update
apt-get install vim
cd /opt/maven/conf
vi settings.xml
mkdir /usr/lib/jvm/java-8-openjdk-amd64/lib

通过更换maven镜像可以解决此问题，在maven安装目录下/opt/maven/conf的conf/settings.xml文件内<mirrors>增加一段更改镜像地址为阿里云的maven，在mvn compile可解决此问题

<mirror>
<id>nexus-aliyun</id>
<mirrorOf>*</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

如果出现这个错误，就是找不到tool.jar直接复制一个tool.jar，源码包里面我复制的有。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.3.2:compile (default-compile) on project message-thrift-service-api: Compilation failure
[ERROR] Unable to locate the Javac Compiler in:
[ERROR] /usr/lib/jvm/java-8-openjdk-amd64/jre/../lib/tools.jar
[ERROR] Please ensure you are using JDK 1.4 or above and
[ERROR] not a JRE (the com.sun.tools.javac.Main class is required).
[ERROR] In most cases you can change the location of your Java
[ERROR] installation by setting the JAVA_HOME environment variable.

复制命令

 yum install lrzsz
#rz 选择tool.jar
docker cp tool.jar 容器ID:/usr/lib/jvm/java-8-openjdk-amd64/jre/../lib/tools.jar
···
![](https://upload-images.jianshu.io/upload_images/11223715-27d864caa1b8bffa.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
>配置环境变量
``` bash
docker exec -it 容器ID /bin/bash
vi ~/.bashrc
#配置下面的环境变量
set JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=${JAVA_HOME}/bin:$PATH




  • 在此尝试构建
#!groovy
pipeline {
//之前说过jenkins是支持集群的，但是咱们这里不需要集群的方式，因为有了k8s。any在任何可用的agent 上执行
 agent any
 //环境变量，
 environment {
 REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
 MODULE="user-edge-service"
 
 }
 //流水线是如何提前，都是通过很多个stages下面的stage
 stages {
 stage('获取代码'){
 steps{
 echo " start fetch code from git ssh://192.168.66.101:2222/liming/microservice.git"
 deleteDir()
 git "${REPOSITORY}"
 }
 }
 stage('编译+单元测试') {
 steps{
 echo " start compile"
 sh "mvn -U -pl ${MODULE} -am clean package"
 }
 }
 }
}



jenkins完成推送到官网镜像

  1. 创建build-imge文件
  2. docker login登录到docker仓库中（之前已经说过了，我的机器内存比较小，无法启动私有的docker仓库我通过的官网的，不管哪个都在jenkins的机器上登录下，push的时候就不报错了）
cd ~
vi build-image.sh
chmod 775 build-image.sh
docker login




#!groovy
pipeline {
//之前说过jenkins是支持集群的，但是咱们这里不需要集群的方式，因为有了k8s。any在任何可用的agent 上执行
 agent any
 //环境变量，
 environment {
 REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
 MODULE="user-edge-service"
 SCRIPT_PATH="/root/"
 
 }
 //流水线是如何提前，都是通过很多个stages下面的stage
 stages {
 stage('获取代码'){
 steps{
 echo " start fetch code from git ssh://192.168.66.101:2222/liming/microservice.git"
 deleteDir()
 git "${REPOSITORY}"
 }
 }
 stage('代码静态检查') {
 steps{
 echo " start code check"
 }
 }
 stage('编译+单元测试') {
 steps{
 echo " start compile"
 sh "mvn -U -pl ${MODULE} -am clean package"
 }
 }
 stage('构建镜像') {
 steps{
 echo " start build image"
 sh "#{SCRIPT_PATH}/build-image.sh ${MODULE}"
 }
 }
 
 stage('发布系统') {
 steps{
 echo " start deploy"
 sh "#{SCRIPT_PATH}/deploy.sh ${MODULE} ${MODULE}"
 }
 }
 
 }
}

build-image.sh

#!/bin/bash
MODULE=$1
TIME=`date "+%Y%m%d%H%M"`
GIT_REVISION=`git log -1 --pretty=format:"%h"`
IMAGE_NAME=zhugeaming/${MODULE}:${TIME}_${GIT_REVISION}
cd ${MODULE}
docker build -t ${GIT_REVISION} .
docker push ${GIT_REVISION}

deply.sh

#!/bin/bash
IMAGE=`cat IMAGE_NAME`
DEPLOYMENT=$1
MODULE=$2
echo "update image to ${IMAGE}"
kubectl set image deployment/${DEPLOYMENT} ${MODULE} =${MODULE}

PS：最后总结下，建议jenkins不要使用容器安装，我用容器安装入了至少十几个坑，对了解命令还是有好处的。我总结几点

  1. 不要容器化jenkins，直接在机器上安装就可以了。容器本身都是单个个体，你想想里面还要装jdk，mvn，docker。如果jenkins容器化，等于容器里面还要装docker是不是很蛋疼。
  2. 使用pipline写脚本其实很简单本身就是流水线，比较负责命令建议使用shell脚本的方式，这是也方便维护。
  3. gitlab里面，outbound requests 允许
  4. jenkins里面有几个重要的点跨域允许访问，允许用户注册
  5. 写的流程有点复杂，我是边练边写的，但是记录了我遇到的各种问题，希望能对有问题的老铁有帮助。
  6. 里面的sh 脚本可能比较适合我，特别是build-image那块，建议自行修改。
  7. 不要用容器安装jenkins了 这个坑太大了，gitlab还是容器安装爽。
  8. 最后在说一点，jenkins的pipline语法不复杂，参考我的写你可以可以完成自动化构建，push镜像，更新服务这块其实也没完全弄好，我准备在继续好好研究下k8s，感觉k8s水太深，下次出专辑深啃一把！

Tags：

猜你喜欢

本文暂时没有评论，来添加一个吧(●'◡'●)

欢迎 你 发表评论:

最近发表
标签列表