自动化测试之sikuli调研

调研结果

Sikuli可用于web和app的自动化测试中，操做简单，代码容易，但截图过程太过繁琐，所须要的图片内存占用量大，且sikuli的图片识别度较低，需对所要操做的图片进行精准截图。

什么是Sikuli

MIT的研究人员设计了一种新颖的图形脚本语言Sikuli，计算机用户只须有最基本的编程技能（好比会写print"hello world"），他不须要去写出一行行代码，而是用屏幕截图的方式，用截出来的图形元素组合出神奇的程序。

Sikuli工做原理（以python为例）：

经过sikuli IDE，能够创建sikuli脚本，其中包括Python源代码以及所须要的截图。Sikuli IDE执行脚本时，经过Python解析器和java库的桥梁，核心部分解析是经过java库实现的分两个部分，java.awt.Robot用来传递键盘和鼠标的事件流到适当位置；给予OpenCV的C++引擎用于在屏幕内搜索制定的图片。各部分的协调工做，最终使得sikuli脚本得以运行，以下图：

 

利用sikuli对web进行自动化测试的流程

1.下载sikulixsetup

下载地址:https://launchpad.net/sikuli/+download 

下载获得：sikulixsetup-1.1.0.jar

2.安装sikuli

l 将jar包导入工程中；

l 在cmd中运行该jar包。java -jar sikulixsetup-1.1.0.jar，则会出现以下图，选择相应选项后，启动会下载sikulixapi.jar。否则会报错：libs to export not found on above classpath: /sikulixlibs/mac/libs642.

l 选择第二个

l 启动后会有have fun的提示；

l 在文件夹中找到下载的sikulixapi.jar包，导入到工程中。

 3.编写java代码

代码以下：

import org.sikuli.script.FindFailed;

import org.sikuli.script.Key;

import org.sikuli.script.Screen;

 

public class Sikulidemo123 {

   public static void main(String[] args) throws FindFailed, InterruptedException {

Screen s=new Screen();

s.click("D:\\eclipse-jee-mars-2-win32-x86_64\\Sikulidemo\\PNG\\min1.png");

s.doubleClick("D:\\eclipse-jee-mars-2-win32-x86_64\\Sikulidemo\\PNG\\firfoxpic.PNG");

Thread.sleep(2000);

s.type("D:\\eclipse-jee-mars-2-win32-x86_64\\Sikulidemo\\PNG\\url1.png", "******");

s.type(Key.ENTER);

s.click("D:\\eclipse-jee-mars-2-win32-x86_64\\Sikulidemo\\PNG\\ningbologin.png");

s.type("D:\\eclipse-jee-mars-2-win32-x86_64\\Sikulidemo\\PNG\\username.PNG","zhangguangwu");

s.type("D:\\eclipse-jee-mars-2-win32-x86_64\\Sikulidemo\\PNG\\password.PNG","Abc123456");

s.click("D:\\eclipse-jee-mars-2-win32-x86_64\\Sikulidemo\\PNG\\loginbutton.PNG");

System.out.println("完美。。。。。");

}

}

应用seleiun写的登陆自动化

 

二者区别：

ü Selenium的准确度更高，而sikuli对图片的要求很高；

ü Selenium写好的代码能够在任何计算机上使用，sikuli写好的代码仅容许在本机使用，由于图片的识别会由于分辨率、背景颜色，图片大小的变化而变化；

ü Selenium运行起来较为缓慢，而sikuli代码运行起来能很快识别出要点击和添加的内容；

ü Selenium中有不少元素没法得到，如xpath和操做windows系统等，但sikuli均可以经过识别图片从而进行操做。

编写web自动化测试的建议：

ü 编写自动化脚本时，若仅须要测试一小段简单程序时，可使用sikuli来编写，若须要测试一个复杂的系统，则应以selenium为主，sikuli为辅（当有windows的操做时）；

ü 在有上传文件、图片等操做的自动化测试中，用sikuli的图片识别技术更为方便；

ü 用sikuli来编写代码时，所截到的图片应该避免雷同，且尽可能缩小范围，便于执行点击、填写等操做时，因为范围过大而定位错误；

ü 掺有sikuli jar包的代码，运行时必须在本机使用，不得换其余计算机操做，若更换，需从新截取所操做计算机的截图；

4.运行程序，运行结果以下图：

 

利用sikuli对android进行自动化测试的流程

1.将获得的sikulixpai.jar导入程序中

2.导入要进行测试app的apk

3.安装小萝贝控机大师并关联到手机，控机后页面以下图：

 

4.编写java代码

代码以下：

import org.junit.After;

import org.junit.Before;

import org.junit.Test;

import org.sikuli.script.FindFailed;

import org.sikuli.script.Screen;

 

public class SikuliTest {

@Test

 public void addContact() throws FindFailed, InterruptedException{

        //得到电脑桌面屏幕内容

Screen s = new Screen();

//图片存储路径

String imgpath="D:\\eclipse-jee-mars-2-win32-x86_64\\Appium_demo\\pics\\";

//点击最小化，最小化eclipse

s.click("D:\\eclipse-jee-mars-2-win32-x86_64\\Appium_demo\\pics\\min1.png");

//找到桌面上控机大师中的图标

    s.find(imgpath+"Contect.png");

     s.click(imgpath+"Contect.png");

     Thread.sleep(1000);

     s.click(imgpath+"AddContact.png");

     Thread.sleep(1000);

     //输入contactname为some

     s.type(imgpath+"Contactname.png", "some");

     s.click(imgpath+"Contactemail.png");

     Thread.sleep(1000);

     s.type(imgpath+"Contactemail.png", "some@163.com");

     Thread.sleep(5000);

     s.click(imgpath+"save.png");

     System.out.println("App is done!");

    }

    @After

    public void tearDown() throws Exception {

        //driver.quit();

    }

}

使用appium编写的测试android app脚本

import io.appium.java_client.AppiumDriver;

import io.appium.java_client.android.AndroidDriver;

import io.appium.java_client.android.AndroidElement;

import java.io.File;

import java.net.URL;

import java.util.List;

import org.junit.After;

import org.junit.Before;

import org.junit.Test;

import org.openqa.selenium.By;

import org.openqa.selenium.WebElement;

import org.openqa.selenium.remote.DesiredCapabilities;

public class ContactsTest {

    private AppiumDriver driver;

@Before

//打开该应用，进入主界面

    public void setUp() throws Exception {

        // set up appium

        File classpathRoot = new File(System.getProperty("user.dir"));

        //app路径

        File appDir = new File(classpathRoot, "/apps");

        //app包

        File app = new File(appDir, "ContactManager.apk");

        DesiredCapabilities capabilities = new DesiredCapabilities();

        //设置设备器件名称

        capabilities.setCapability("deviceName","4C3ETK1575017025");

        capabilities.setCapability("platformVersion", "4.4");

        capabilities.setCapability("app", app.getAbsolutePath());

        capabilities.setCapability("appPackage", "com.example.android.contactmanager");

        capabilities.setCapability("appActivity", ".ContactManager");

        driver = new AndroidDriver<>(new URL("http://127.0.0.1:4723/wd/hub"), capabilities);

        System.out.println("App is launched!");

    }

@Test

//测试添加联系人的步骤

    public void addContact(){

        WebElement el = driver.findElement(By.name("Add Contact"));

        el.click();

        List<AndroidElement> textFieldsList = driver.findElementsByClassName("android.widget.EditText");

        textFieldsList.get(0).sendKeys("Some Name");

        textFieldsList.get(2).sendKeys("Some@example.com");

        driver.swipe(100, 500, 100, 100, 2);

        driver.findElementByName("Save").click();

        System.out.println("App is done!");

    }

    @After

    public void tearDown() throws Exception {

        driver.quit();

    }

}

二者区别：

ü Appium的准确度高，而sikuli对图片的要求很高；

ü Appium写好的代码能够在任何计算机上使用，sikuli写好的代码仅容许在本机使用，由于图片的识别会由于分辨率、背景颜色，图片大小的变化而变化；

ü Appium前期的环境搭建过于繁琐，而且运行脚本时，须要打开appium的前期步骤也比较多，sikuli仅需简单安装小萝贝控机大师便可；

ü Appium代码中前期须要配置的参数过多，而sikuli仅需按照平常手动操做中的步骤来进行便可。

编写android app自动化测试的建议：

ü 编写安卓app自动化测试脚本时，若仅须要测试一小段简单程序时，可使用sikuli来编写，若须要测试一个复杂的系统，则应用Appium；

ü 用sikuli来编写代码时，所截到的图片应该避免雷同，且尽可能缩小范围，便于执行点击、填写等操做时，因为范围过大而定位错误；

ü 掺有sikuli jar包的代码，运行时必须在同一外置手机中使用，不得换其余手机操做，若更换，需从新截取所操做手机的截图；

ü 若须要测试手机app的某一单独模块时，则应使用appium，能够自动定义启动哪一activity，省去前面一系列步骤。

4. 运行

Sikuli的优缺点

优势

1.与平台无关

能够实现任意类型的UI（GUI）测试，轻松实现跨平台测试，并能够解决web测试中的浏览器兼容性测试问题。

2.可读性强

代码可读性强，用图形表示逻辑关系更生动、形象，容易理解，便于维护。

3.提供.jar包

便于构建大型的测试框架，实现各种测试工具之间的互补。

4.用例设计与程序实施可分离

用例设计人员能够只关注图型逻辑关系和测试检查点，不须要懂得具体开发与程序语言基础；程序实施人员能够只进行编程而不过多参与设计。

缺点

一、sikuli不支持中文，所以不管在编程中或者保存路径，都不可使用中文！不然运行报错。

二、图片的分辨率、色彩、尺寸、惟一性对程序的影响 （若是有两个相同的，没法区分具体哪个）

三、sikuli自己还不完善（处于开发、升级阶段） 还有不少程序bug,可否继续发展仍是未知数

四、只认识当前活动的图标（只有当前桌面有才行）

五、用例组织方面有提供可是目前有bug，还未调研尝试便利性

六、截图的话，脚本存储占用空间较大

七、类似度调整须要手动一个个的调整，工做量大