【Gerrit】Gerrit与Jenkins/Hudson CI服务器搭建

配置Git

不少系统(例如Linux)已经默认提供了Git,在Git主页也能够找到安装程序。对于Windows用户,最好的选择是MsysGit。请注意,若是你安装了Apple Developer Tools (for Xcode 4),那么其中已经自带Git二进制包了。若是遇到了问题,help.github.com中能够找到不少很是出色的指南。html

由于全部的Git提交都带有做者和电子邮件地址,若是你尚未设置过这些内容,请执行如下命令进行配置:java

$ git config --global user.name "Alex Blewitt"
$ git config --global user.email Alex.Blewitt@example.com

最好有一个Git代码库。Gerrit在初始化阶段会自动扫描Git代码库,这样作比在后期配置代码库容易一些,所以最好在初始化Gerrit前准备好Git代码库。git

若是尚未Git代码库,能够建立一个:github

git init --bare /path/to/gits/example.git

Gerrit

能够从http://code.google.com/p/gerrit/下载到Gerrit,那是一个WAR文件。Gerrit有很好的文档(目前的最新文档是2.2.1,但也可用于2.1.7)和安装指南sql

Gerrit在运行时须要用到数据库(用于存储代码审查的信息)。目前支持的数据库包括H二、PostgreSQL和MySQL。在没有进行额外配置的状况下,它默认使用H2。shell

请注意,Gerrit 2.2.x正把项目配置、权限和其余元数据移到Git存储中,这样就能够经过Git进行访问和版本控制。在2.2.x中,这个转变会慢慢扩展到其余类型的元数据上,包含代码评审内容。详见2.2.0版本的发布说明数据库

要初始化Gerrit,运行java -jar gerrit.war init -d /path/to/location会在指定路径上安装Gerrit运行时。xcode

若是是在交互终端中运行的,安装程序会提几个问题,例如:浏览器

  • Git代码库的位置 [git]
  • 导入现有代码库 [Y/n]
  • 数据库服务器类型 [H2/?]
  • 身份验证方法 [OPENID/?]
  • SMTP服务器主机名 [localhost]
  • SMTP服务器端口 [(default)]
  • SMTP加密 [NONE/?]
  • SMTP用户名
  • 以何种身份运行 [you]
  • Java运行时 [/path/to/jvm]
  • 将gerrit.war复制到/path/to/location/bin/gerrit.war [Y/n]
  • 监听地址 [*]
  • 监听端口 [29418]
  • 下载并安装Bouncy Castle [Y/n]
  • 位于HTTP反向代理以后 [y/N]
  • 使用SSL [y/N]
  • 监听地址 [*]
  • 监听端口 [8080]

其中大部分能够保留默认值,可是有几个须要重点关注。服务器

  • Git代码库的位置要指向正确的位置。默认值是位于安装目录中的'git'目录,也能够是其余不一样位置(例如/var/gits等等)。应该先配置好这个路径,由于在Gerrit启动时它会先扫描该目录来添加新项目。
  • 监听地址对有多个地址(例如IPv4和IPv6)的主机颇有用,它能够限定使用哪一个地址。*表示本地主机上的任意地址。
  • 监听端口是一个端口号。29418是默认的Gerrit SSH端口,而8080是默认的Gerrit Web端口。可是若是8080已经被别的应用程序占用了,那么你可能会想修改第二个端口。
  • 身份验证方法肯定了如何登陆Gerrit。若是你想挂入某个现有的身份验证提供方(例如Google Accounts),那么可使用OpenID。但对测试而言(还有上面提到的范例),可使用development_become_any_account。键入?会显示一个可用方法的列表。

Gerrit启动后,会打开一个浏览器,显示Gerrit主页。登陆的第一个用户将自动成为管理员;全部后续登陆的用户都是无权限用户。若是你选择了development_become_any_account,在页面顶端会有一个Become连接,经过它能够进入注册/登陆页面。

注册用户

为了使用Gerrit,你须要一个帐号,生成一个SSH密钥对。在命令行中运行 ssh-keygen -t rsa -b 2048能够生成密钥对,将其放到你的.ssh目录中。若是你须要更多信息,能够访问这篇博文,这是我六年前写的SSH密钥相关文章。此外,GitHub 帮助页面中也有更多相关信息。

默认文件名为id_rsa(这是私钥)和id_rsa.pub(这是公钥)。你只能给别人公钥,千万别给别人私钥。

有了密钥,你就能够在Gerrit中注册新帐户了。点击顶部右端的“Become”连接,而后再点击“New account”按钮,输入Git知道的名称和电子邮件(即上面用git config配置的),这些内容要彻底匹配(包括大小写)。保存变动,而后选择一个惟一的用户名(填入了名称后点击'select username',例如demo)。

在'add SSH public key'文本框中,添加.pub文件中的公钥。若是你使用的是OS X,pbcopy < ~/.ssh/id_rsa.pub就可轻松搞定。记住要点击“Add”保存公钥。

点击Continue后应该就能登陆到Gerrit的主窗口了。到目前为止一切还不错,如今能够测试SSH的连通性了。

键入ssh -p 29418 demo@localhost会尝试链接Gerrit服务器,会出现如下三者之一:

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!

这并无看上去那么糟。它只是说你的~/.ssh/known_hosts文件中有旧的密钥。最懒的一种修复方法是删除这个文件(这是GitHub推荐的作法)。更好的方法是找到提示出错的那一行,把它删了:

Offending key in /Users/demo/.ssh/known_hosts:123

你能够用任何文本编辑器来删除known_hosts文件中的第123行。在标准UNIX配置下,能够用如下命令自动删除:

sed -i '' '123d' ~/.ssh/known_hosts
The authenticity of host '[localhost]:29418 ([::1]:29418)' can't be established.
RSA key fingerprint is e8:e2:fe:19:6f:e2:db:c1:05:b5:bf:a6:ad:4b:04:33.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '[localhost]:29418' (RSA) to the list of known hosts.
Permission denied (publickey).

若是看到这个消息,说明Gerrit没有识别出你提交的任何密钥。ssh默认会发送id_rsa,要确认它的确发送了该值,能够查看.ssh/config,文件头上有一行IdentityFile ~/.ssh/id_rsa。能够运行ssh -v查看发送的内容:

debug1: Next authentication method: publickey
debug1: Trying private key: /Users/demo/.ssh/id_dsa
debug1: Offering public key: /Users/demo/.ssh/id_rsa

假设已经发送了正确的密钥,那么在settings - ssh public keys菜单项中检查该密钥是否关联了Gerrit中的用户。若是没有的话点击'Add Key'并和以前同样粘贴公钥。

若是Gerrit仍是说你未经身份验证,检查用户名和配置页面里的用户名是否一致。若是用户名不一样,试试ssh -p 29418 username@localhost。

最后,要验证具体的密钥,能够运行ssh -i ~/.ssh/id_rsa显式地选择要使用的密钥,而不是让它自动选择密钥。若是这样能够工做,但不带-i参数却不行的话,那么问题出在你的~/.ssh/config文件里――你须要保证选择了合适的IdentityFile。

 ****    Welcome to Gerrit Code Review    ****

  Hi demo, you have successfully connected over SSH.

  Unfortunately, interactive shells are disabled.
  To clone a hosted Git repository, use:

  git clone ssh://demo@localhost:29418/REPOSITORY_NAME.git

Connection to localhost closed.

若是看到这个提示,说明Gerrit已经正常工做了。

修正电子邮件地址

若是以前你没法在Gerrit中注册电子邮件地址,那么能够手工进行注册。咱们能够中止Gerrit,运行GSQL工具更新特定数据字段。

$ bin/gerrit.sh stop
$ java -jar bin/gerrit.war gsql
Welcome to Gerrit Code Review 2.1.6.1
(H2 1.2.134 (2010-04-23))

Type '\h' for help.  Type '\r' to clear the buffer.

gerrit> select * from ACCOUNT_EXTERNAL_IDS;
 ACCOUNT_ID | EMAIL_ADDRESS          | PASSWORD | EXTERNAL_ID
 -----------+------------------------+----------+------------------------------------------
 1000000    | NULL                   | NULL     | uuid:ac1b8a08-2dd1-4aa1-8449-8b2994dffaed
 1000000    | NULL                   | NULL     | username:demo
(2 rows; 23 ms)
gerrit> update ACCOUNT_EXTERNAL_IDS set EMAIL_ADDRESS='alex.blewitt@example.com' where ACCOUNT_ID=1000000;
UPDATE 2; 5 ms
gerrit> select * from ACCOUNT_EXTERNAL_IDS;
 ACCOUNT_ID | EMAIL_ADDRESS          | PASSWORD | EXTERNAL_ID
 -----------+------------------------+----------+------------------------------------------
 1000000    | alex.blewitt@example.com | NULL     | uuid:ac1b8a08-2dd1-4aa1-8449-8b2994dffaed
 1000000    | alex.blewitt@example.com | NULL     | username:demo
(2 rows; 23 ms)
gerrit> \q
Bye
$ bin/gerrit.sh start

建立项目,克隆并推送代码

开始前,咱们须要先在Gerrit中建立一个项目。若是Gerrit没有在你的范例目录中检测到项目,在它运行时,咱们能够建立一个项目。

$ ssh -p 29418 demo@localhost gerrit create-project --name example.git

上述命令会建立一个名为example的项目,在以前指定的Git目录里初始化一个空的代码库。若是已经有一个代码库了,Gerrit不容许建立同名代码库——但你能够先对它进行临时重命名,随后再把名字改回来。

随后,能够建立一个克隆:

$ git clone ssh://demo@localhost:29418/example.git
Cloning into example...
warning: You appear to have cloned an empty repository.

咱们能够向代码库进行提交和推送,就和其余Git系统同样:

$ cd example
$ echo hello > world
$ git add world
$ git commit -m "The World"
[master (root-commit) 06bf85e] The World
 1 files changed, 1 insertions(+), 0 deletions(-)
 create mode 100644 world
$ git push
No refs in common and none specified; doing nothing.
Perhaps you should specify a branch such as 'master'.
$ git push origin master
Counting objects: 3, done.
Writing objects: 100% (3/3), 217 bytes, done.
Total 3 (delta 0), reused 0 (delta 0)
To ssh://me@localhost:29418/example.git
 ! [remote rejected] master -> master (prohibited by Gerrit)
error: failed to push some refs to 'ssh://demo@localhost:29418/example.git'

这是什么状况?Gerrit不但愿咱们直接覆写Git代码库中的任何分支,而是将变动推送到另外一个refspec中,这让Gerrit有机会在代码审查中修改代码。最简单的方法是为推送配置一个默认的refspec:

$ git config remote.origin.push refs/heads/*:refs/for/*
$ git push origin
Counting objects: 3, done.
Writing objects: 100% (3/3), 217 bytes, done.
Total 3 (delta 0), reused 0 (delta 0)
To ssh://demo@localhost:29418/example.git
 * [new branch]      master -> refs/for/master

咱们推送了一个分支,在Gerrit的change,1里能够发现,尽管实际的分支名称是refs/changes/01/1/1,但看到的倒是refs/for/master。你会发现当前分支的哈希值和此处显示的同样(在个人例子里是06bf85e)。若是咱们要再次推送,会建立一个新的分支refs/changes/02/2/1,而不是覆盖refs/for/master。第一个数字是变动号的最后两位,第二个数字是变动号,第三个数字是补丁集号。因此变动123的补丁集17就是refs/changes/23/123/17。

若是想要修正(amend)提交,Gerrit会建立一个新的代码审查引用,这么作不太好。若是两次变动之间有审查评语,你将丢失这些内容。

咱们能够修改commit-msg,添加一个(Gerrit专门的)Change-Id。同一变动的全部后续提交都会关联到一个补丁集上。Gerrit提供了一个实现,只要复制出来就好了。

$ cd .git/hooks
$ scp -P 29418 demo@localhost:hooks/commit-msg .
$ cd ../..

如今,当咱们要提交修正时便会自动生成一个Change-Id。能够用这个值为变动集生成多个补丁。经过修正提交,并提供Gerrit变动的Change-Id,咱们能够修改当前的提交。

$ git commit --amend -m "Hello World
>
> Change-Id: I06bf85ed12f370212ec22dbd76c115861b653cf2
> "
[master 86a7a39] Hello World
 1 files changed, 1 insertions(+), 0 deletions(-)
$ git push
Counting objects: 3, done.
Writing objects: 100% (3/3), 260 bytes, done.
Total 3 (delta 0), reused 0 (delta 0)
remote: (W) 86a7a39: no files changed, message updated
To ssh://me@localhost:29418/example.git
 * [new branch]      master -> refs/for/master

如今再去看Gerrit中的change 1,你会发现出现了第二个与该变动相关联的补丁集。远端分支refs/changes/01/1/2包含了新的提交消息(尽管全部文件仍是同样的)。

一般状况下,你并不须要添加Change-Id,由于提交消息Hook会自动帮你添加的。

代码审查与结果提交

咱们要建立一个build.sh脚原本执行构建过程。Jenkins/Hudson会签出并运行该脚本。通常而言,这是一个Maven的构建,也多是xcodebuild或make——为了不针对某种语言,咱们就使用一个普通的脚本。

$ cat > build.sh
#!/bin/sh
echo Pretending to build ...
echo done
^D
$ chmod a+x build.sh
$ git add build.sh
$ git commit -m "Adding (dummy) build script"
$ git push

问题是这些变动还在Gerrit的评审队列里,咱们要先批准这些变动。进入变动页面,会看到这些文件,还有一个Review按钮。在变动页面有一个让你作代码审查的Review按钮,但却没有提交按钮……

这是由于变动在提交前默认要评审+2,每一个人只能+1,也就是说只有一我的作代码审查是没法提交代码的。

咱们能够修改Gerrit的规则,容许一我的投票+2,也能够准许+1提交。

最简单的方法是进入项目管理页面All Projects Access标签页(在Gerrit 2.2.1和2.1.7.2里这个标签从--All Projects--改为了All-Projects)。点击“Code review”规则旁边的复选框,修改“Permitted Range”为+2: Looks good to me, approved。Gerrit还须要一个+1校验,随后也会为Jenkins/Hudson配置的。按照下面内容添加一条新规则:

Category  
Verified  
Group Name  
Non-Interactive Users  
Reference Name  
refs/*  
Permitted Range  
-1: Fails to +1: Verified 

点击“Add Access Right”来配置该权限。

咱们须要为Jenkins/Hudson建立一个新用户并添加到这个分组里,所以进到登陆页面注册一个新帐户buildbot。还须要一个新的SSH密钥(名字是id_rsa.buildbot),和以前同样粘贴在公钥一栏里。

从新用管理员ID登陆(你早些时候建立的那个帐户),进入Admin - Groups标签。在Non-Interactive Users里加入buildbot和demo用户(后者是临时的)。

配置好了校验规则,咱们应该回到变动页面,将这个变动标记为经过。

但咱们仍是缺乏一个Submit按钮,须要用它来合并分支。提交权限独立于校验和代码审查权限以外,所以须要回到All Projects Access标签页,添加一个权限:

Category  
Submit  
Group Name  
Registered Users  
Reference Name  
refs/*  
Permitted Range  
+1: Submit 

点击“Add Access Right”来配置该权限。

如今,回到变动页面,咱们就能看到Submit按钮(若是变动已经经过了代码审查)了,在评论/代码审查页面也有Publish and Submit按钮。(请注意,若是代码审查还没到达提交所需的级别,在点击Publish and Submit时会出现一个错误提示。)

最后,发布并提交全部未完成的代码审查(保证构建脚本已经就绪),执行git pull来确保你的代码库是最新的。它们应该出如今已合并标签页中。

管理员注意事项:通常来讲,不会广泛赋予'All Projects Access'权限,而是根据项目进行分配。这里使用'All Projects'是为了方便运行,也能够根据项目进行配置。

配置Jenkins/Hudson

如今要作的就是配置Jenkins(若是你喜欢也能够用Hudson)。它们和Gerrit同样,默认运行在8080端口上,你须要为它们换个端口。修改Gerrit的端口要从新执行以前的配置过程,修改Jenkins/Hudson的端口只需命令行便可。

$ #java -jar hudson-2.0.1.war --httpPort=1234
$ java -jar jenkins.war -httpPort=1234
...

Jenkins/Hudson能够直接签出Git项目,也能够经过Gerrit签出。可是签出过程未必都能自定义SSH身份(不用.ssh/config中的默认身份集)。有时使用匿名Git协议来托管Git代码库会容易些,即无需身份验证。能够运行以下命令:

$ git daemon --export-all --base-path=/path/to/gits

咱们还须要安装Git插件和Git/Gerrit触发器。打开位于http://localhost:1234的Jenkins/Hudson,点击左上方的Manage Jenkins/Hudson连接,再点击Manage Plugins连接。切换到 Available标签页,安装:

  • Gerrit Trigger

Install按钮在右下方,Jenkins/Hudson稍后会重启。Gerrit Trigger会安装Git插件。请注意,有一个Gerrit Plugin,那个不是咱们要装的。(若是你在使用Hudson,而且更新页面里没有任何内容的话,进入'Advanced'点击下方的'Check now'。)

如今,咱们能够开始配置Jenkins/Hudson了。先按如下步骤新建一个CI任务检查Git代码库的变动(合并):

  1. 点击左上方的'New Job'。这会要求你输入一个名称(例如Example)和类型;本例中选择free-style项目。
  2. SCM类型选择Git(若是没有这个选项,说明须要安装上面提到的Git插件)。URL是git://localhost/example.git
  3. 至于构建触发器,选中Poll SCM并输入* * * * *。这里的格式与crontab相似,这里至关于每分钟检查一次代码库。
  4. 滚动到add a build step,选择execute shell。输入$WORKSPACE/build.sh(请注意:若是项目名中有空格,须要用引号把它括起来,例如"$WORKSPACE/build.sh")
  5. 最后,点击Save,项目建立好了。

上面建立了一个项目,签出master,若是有变化则执行build.sh。点击build now连接会签出代码,运行脚本并报告执行成功与否。(若是失败了,能够检查构建日志了解详细信息,在继续后续任务前把问题解决掉。)

集成Gerrit

咱们如今已经能够在master发生变动时经过Jenkins/Hudson自动构建了,可是咱们还应该在提交代码审查时进行构建。

下面要建立另外一个任务:

Name  
Example-Gerrit  
Type  
Free-style  
SCM  
Git  
URL  
git://localhost/example.git  
Advanced (below URL of repository) Refspec  
$GERRIT_REFSPEC  
Advanced (above repository browser) Choosing strategy  
Gerrit-plugin  
Build Triggers  
Gerrit Event  
Gerrit Project  
Path - ** - Path - ** 

有新事件发生时,Gerrit会触发项目。可是咱们还差一步,要告诉Jenkins/Hudson监听哪一个Gerrit服务器。

在Manage Jenkins/Hudson标签页中,有一项Gerrit Trigger,添加以下信息:

Hostname  
localhost  
URL  
http://localhost:8080  
Port  
29418  
Username  
buildbot  
Keyfile  
/path/to/.ssh/id_rsa.buildbot  
SSH Keyfile password  
... 

首先,点击下方的“Save”按钮。而后,点击Test Connection按钮检查配置是否成功。若是成功,点击“Restart”,或者重启Jenkins/Hudson。

若是一切顺利,应该能够回到主页,左边有一个Query and Trigger Gerrit Patches连接。点击该连接,输入is:open查看打开的变动,is:merged查看合并的变动。完成后,选中复选框,点击Trigger Selected触发该变动的构建。

若是你使用的是Hudson 2.0.0和Gerrit 2.2.0,在Hudson控制台里会看到java.lang.reflect.InvocationTargetException错误。这是新Gerrit Trigger的一个问题;升级到Hudson 2.0.1就行了。

整合到一块儿

你如今能够在代码库的本地克隆中建立一个变动,推送到Gerrit中,让Jenkins/Hudson自动为你执行构建。

要测试失败的状况,编辑build.sh脚本,在文件末尾输入exit 1。提交文件并将其推送到Gerrit,你会看到Jenkins/Hudson的状态会变为失败,由于如今的构建脚本返回了一个非零码。修复提交,将刚才那行改成exit 0,推送以后你会看到构建结果变回成功。

最后,若是要使用xcodebuild构建iOS应用程序,经过ocunit2junit.rb脚原本串联整个构建,它会把SenTest的断言转为Jenkins/Hudson能够理解的形式,这样失败的断言就能打印在输出的构建日志里了。

相关文章
相关标签/搜索