在 Sikuli X Java 中查找图像

selenium-webdriver java webdriver sikuli appium

2022-09-02 14:08:14

我在尝试在屏幕上查找图像时遇到问题，我尝试以两种不同的方式执行此操作，它似乎不适合我。我正在尝试使用在屏幕上显示的IOS模拟器上运行的Appium来执行此操作，因此我不认为这是屏幕截图的问题。

我正在运行MAC OSX El Capitan，我已经在我的项目中导入了Sikuli X java API

我是否还需要导入 MAC Sikuli 库 jar？

这是我到目前为止尝试过的：

1.

Screen s = new Screen();
Pattern test = new Pattern("/Users/ealiaj/Desktop/Automation/workspace/WheelsUp - IOS/screenshot.jpg");
try {
    s.find(test);
} catch (FindFailed e) {

}

2.

Screen s = new Screen();
try {
    s.find("screenshot.jpg");
} catch (FindFailed e) {

}

我一直找不到错误。

错误信息：

FindFailed：找不到 /Users/ealiaj/Desktop/Automation/workspace/WheelsUp - IOS/screenshot1.jpg 在 S（0）[0，0 1440x900] 第 2189 行，在文件区域中.java

这是屏幕上的图像，红色大矩形是我为其创建屏幕截图并尝试查找的图像，但得到该错误。

我唯一能够成功找到的是那个灰色矩形，或者至少它不会引发错误。

答案 1

您可以使用此方法验证图像：

@Test
public void verifyImages() {    

    //WebElement img = driver.findElementByClassName("android.widget.ImageView");

   //take screen shot
    File screen = ((TakesScreenshot) driver)
                        .getScreenshotAs(OutputType.FILE);


    //capture image of searched contact icon
    List<WebElement > imageList = driver.findElementsByXPath("//*[@class='android.widget.ImageView' and @index='0']");
    System.out.println(imageList.size());

    System.out.println(i);
    WebElement image = imageList.get(1);
    Point point = image.getLocation();

    //get element dimension
    int width = image.getSize().getWidth();
    int height = image.getSize().getHeight();

    BufferedImage img = ImageIO.read(screen);
    BufferedImage dest = img.getSubimage(point.getX(), point.getY(), width,
                                                                 height);
    ImageIO.write(dest, "png", screen);
    File file = new File("Menu.png");
    FileUtils.copyFile(screen, file);

    //verify images
    verifyImage("Menu.png", "Menu.png" );
}



public void verifyImage(String image1, String image2) throws IOException{
    File fileInput = new File(image1);
    File fileOutPut = new File(image2);

    BufferedImage bufileInput = ImageIO.read(fileInput);
    DataBuffer dafileInput = bufileInput.getData().getDataBuffer();
    int sizefileInput = dafileInput.getSize();                     
    BufferedImage bufileOutPut = ImageIO.read(fileOutPut);
    DataBuffer dafileOutPut = bufileOutPut.getData().getDataBuffer();
    int sizefileOutPut = dafileOutPut.getSize();
    Boolean matchFlag = true;
    if(sizefileInput == sizefileOutPut) {                         
       for(int j=0; j<sizefileInput; j++) {
             if(dafileInput.getElem(j) != dafileOutPut.getElem(j)) {
                   matchFlag = false;
                   break;
             }
        }
    }
    else                            
       matchFlag = false;
    Assert.assertTrue(matchFlag, "Images are not same");    
 }

答案 2

错误消息说，这是程序正在查找.PNG文件，并且在代码中放置了一个.JPG文件。