标记为运行时间过长 JUnit 测试失败

java maven junit

2022-09-02 04:51:22

我想停止并标记为失败太长时间运行 junit 测试（在 Maven 3 构建中执行）。我知道有三种方法可以做到这一点：

1）使用带有超时参数的测试注释：

@Test(timeout=100)
public void testWithTimeout() {
    ...
}

2）使用规则注释：

@Rule
public Timeout globalTimeout = new Timeout(100);

3）使用以下选项配置 maven-surefire-plugin：

forkedProcessTimeoutInSeconds=1
reuseForks=false

线索是1）和2）需要改变每个测试（当你有数千个测试时会很痛苦）。3）解决方案是不可接受的，因为在许多模块中，第一次测试开始测试使用的上下文 - 测试性能会急剧下降。

你还有其他想法如何实现这一目标吗？任何棘手的解决方案（不涉及修补JUnit:)）？

答案 1

您可以尝试通过编写一个扩展BlockJunit4ClassRunner的类来定义自己的测试运行器，如果测试执行超过定义的超时，它将失败。然后使用@RunWith（CustomTestRunner.class）注释测试类，您仍然需要修改类，但可以在单个位置指定超时值。

答案 2

实际上，超时规则将相同的超时应用于类中的所有测试方法。

如果不想将其添加到每个 Test 类，可以在测试基类中定义一次。

对于不需要更改所有类的内容，您可以实现 Junit 自定义套件运行器（请参阅第二个代码示例）

只是为了好玩，使用已弃用的Thread.stop方法这个黑客解决方案怎么样？

在函数启动之前，每个测试都有一个观察程序线程，在超时之后会终止 Junit 测试线程。

如果测试完成，清理将终止观察程序线程。

适用于这个小演示，不确定这是否适用于生产规模。

import static org.junit.Assert.*;

import org.junit.After;
import org.junit.Before;
import org.junit.Test;

// You could also make this a base class for test classes
public class TimeoutTest {

    Thread watcherThread ;
    Thread junitTestThread;
    final static int testTimeout = 2000;

    @Before
    public void myInit()
    {
        junitTestThread = Thread.currentThread();
        watcherThread = new Thread()
        {
            @Override 
            public void run()
            {
                    try {
                        Thread.sleep(testTimeout);
                        junitTestThread.stop();
                    } catch (InterruptedException e) {
                        // TODO Auto-generated catch block
                        e.printStackTrace();
                    }
            }
        };
        watcherThread.start();
    }

    @After
    public void myCleanup() throws InterruptedException
    {
        watcherThread.stop();
    }

    @Test
    public void testPassingFastTest() throws InterruptedException {
        Thread.sleep(1000);
    }

    @Test
    public void testFailingSlowTest() throws InterruptedException {
        Thread.sleep(3000);
    }

}

或者，对于使用套件的多个测试类执行此操作：

import java.util.Arrays;

import org.junit.runner.Description;
import org.junit.runner.RunWith;
import org.junit.runner.notification.RunListener;
import org.junit.runner.notification.RunNotifier;
import org.junit.runners.Suite;
import org.junit.runners.Suite.SuiteClasses;
import org.junit.runners.model.InitializationError;
import org.junit.runners.model.RunnerBuilder;

@RunWith(AllTests.class)
public class AllTests extends Suite{

    Thread watcherThread ;
    Thread junitTestThread;
    final static int testTimeout = 70;

    public AllTests(final Class<?> clazz) throws InitializationError {
        super(clazz, findClasses());
      }

    private static Class<?>[] findClasses() {
        // You could write code here to get the list of all test classes from specific directories
        return new  Class<?>[] {TimeoutTest.class,TimeoutTest2.class};
      }


    @Override
    public void run(final RunNotifier notifier) {


      notifier.addListener(new RunListener() {
        @Override
        public void testStarted(final Description description) {            
            System.out.println("Before test " + description.getDisplayName());
            junitTestThread = Thread.currentThread();
            watcherThread = new Thread()
            {
                @Override 
                public void run()
                {
                        try {
                            Thread.sleep(testTimeout);
                            junitTestThread.stop();
                        } catch (InterruptedException e) {
                            // TODO Auto-generated catch block
                            e.printStackTrace();
                        }
                }
            };
            watcherThread.start();

        }

        @Override
        public void testFinished(final Description description) {
            System.out.println("After test " + description.getDisplayName());
            watcherThread.stop();

        }

      }
    );

    super.run(notifier);


    }      
}